- 博客(16)
- 收藏
- 关注
RSS订阅原创 python数据分析---Numpy
##Numpy是Python的一个科学计算的库，提供了矩阵运算的功能import numpy as np#一维数组a=np.array([1,2,3,4,5,6])print a#二位数组b=np.array([[1,2,3],[2,3,4]])print b#查看数组大小a.shapeb.shape#arange函数 指定开始值、终值和步长来
2017-05-04 17:20:01
443
原创 python数据分析---Pandas
import pandas as pd#Series 可以看做一个定长的有序字典。基本任意的一维数据都可以用来构造 Series 对象：s = pd.Series([1,2,3.0,'abc'])s1 = pd.Series(data=[1,3,5,7],index = ['a','b','x','y'])#通过下标获取数据s1['a']#Series的name属性
2017-05-04 17:19:06
416
原创 MySQL统计信息
SQL执行过程图1. 客户端发送一条查询给服务器2. 服务器先检查查询缓存，如果命中缓存，则立即返回缓存结果，否则进入下一阶段3. 服务器端进行SQL解析，预处理，再由优化器生成对应的执行计划4. Mysql根据优化器生成的执行计划，调用存储引擎的API来执行查询5. 将结果返回给客户端 MySQL的执行计划是在服务器层生成的，但是统计信息是在存储引擎层生成的！
2016-12-29 14:57:23
2467
原创 JAVA序列化详解
什么是JAVA序列化Java序列化是指把Java对象转换为字节序列的过程；Java反序列化是指把字节序列恢复为Java对象的过程。采用Java序列化与反序列化技术，一是可以实现数据的持久化，在MVC模式中很是有用；二是可以对象数据的远程通信。在大部分情况下，开发人员只需要了解被序列化的类需要实现 Serializable 接口，使用 ObjectInputStream 和
2016-12-14 16:24:56
402
原创 ES基础操作
文档是什么ES里面每一条数据称之为文档(json格式)文档元数据_index索引类似于关系型数据里面的数据库,它是我们存储和索引关联数据的地方。名字必须是全部小写，不能以下划线开头，不能包含逗号。让我们使用website做为索引名。_type在Elasticsearch中，我们使用相同类型(type)的文档表示表，因为他们的数据结构也是相同的
2016-12-09 13:39:45
11263
原创 Elasticsearch安装
使用ES注意事项1、es版本2.x以上需要JDK 1.8以上2、运行es不能使用root用来来运行3、es目录必须指定一个普通用户和组（授权）4、es对内存和CPU的消耗比较高5、es版本在5.X以上系统要求至少要能够开启2048个线程才可以启动，系统版本使用CENTOS7才可以6、es使用的端口看开放iptables:9200，9300等7、es配置其他插件实现资
2016-12-08 16:36:08
905
原创 Linux各种问题
安装glibc.i686 报错Error: Protected multilib versions: nss-softokn-freebl-3.14.3-23.3.el6_8.i686 != nss-softokn-freebl-3.14.3-9.el6.x86_64解决办法yum -y install glibc.i686 --setopt=protected_multilib=
2016-12-08 15:31:46
1885
原创 Kafka系列1----Kafka安装与相关命令
单节点KAFKA安装解压Kafka运行zookeeper（必须）运行zookeeper修改kafka配置文件broker.id=0port=9092log.dir=/tmp/kafka-logs-0zookeeper.connect=192.168.60.81:2181,192.168.60.50:2181,192.168.60.
2016-12-07 15:56:05
372
原创 欢迎使用CSDN-markdown编辑器
Scala 元组 这是一篇偏向于数据结构的文章,此文章你可以学到元组的底层定义,以及在各种语言中,如何定义元组元组简介元组是一种不可变,可以随意存放数据类型的数据结构元组与数组的区别元组可以存放不同类型的数据类型,数组不能实现存放多数据类型,数组可以随意赋值,元组在定义时确定长度,同时确定赋值.Scala中的元组scala中元组常用于函数返回多个值的情况scala元组定义val tuple=(
2016-09-13 10:43:02
220
原创 Scala处理JSON
Scala在处理json的时候,使用java的json-lib def main(args: Array[String]): Unit = { val str2 = "{\"et\":\"kanqiu_client_join\",\"vtm\":1435898329434,\"body\":{\"client\":\"866963024862254\",\"client_ty
2016-09-12 16:15:02
20582
原创 Python处理JSON常用方法
#解析json字符串import jsonstr2 = "{\"et\":\"kanqiu_client_join\",\"vtm\":1435898329434,\"body\":{\"client\":\"866963024862254\",\"client_type\":\"android\",\"room\":\"NBA_HOME\",\"gid\":\"\",\"type\":\
2016-09-12 16:14:05
1082
原创 JAVA常用的JSON处理库,常用处理方法
SON-LIB库处理jsonJSON-LIB依赖包package cn.wangyuan.util;import java.util.HashMap;import java.util.Map;import net.sf.json.JSON;import net.sf.json.JSONFunction;import net.sf.js
2016-09-12 14:19:51
3995
1
原创 group by与distinct效率分析及优化措施
如何使用group by进行去重因为mysql的distinct在结果集中，全部不同，才可以去重。所以，当我们进行去重处理的时候，需要单独对某列进行去重，可以使用group by子句进行分组去重select _auto_id from account_login group by _auto_id; 该语句可以对_auto_id列进行去重。在使用group
2016-08-12 12:52:58
73101
4
原创 MySQL5.7多源主从复制
MySQL5.7多源主从复制MySQL在5.7.2上面添加了多源复制（Multi-Source）功能，意味着一个从库可以连多个主库，从而同时进行同步，但是如果是同一个表的话，会存在主键和唯一索引冲突的风险，需要提前做好规划 MySQL多源复制的原理个人认为MySQL能实现多源复制的关键有两点1. MySQL5.7中的从库进行同步的SQL_THREA
2016-08-11 11:18:38
1734
1
转载 利用MySQL的表实现树的构建以及优化
利用MySQL的表实现树的构建数据结构表结构介绍：程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品，省份存储，分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，因此是不能直接将Tree存入DBMS，设计合适的Schema及其对应的CRUD算法是实现关系型数据库中
2016-08-11 10:49:35
6827
原创 mysqldump --single-transaction 和--lock-tables参数详解
mysqldump的备份原理mysqldump在备份过程中，是采用查询备份相关表的数据，然后导出，拼接成insert语句的形式进行备份。关于--single-transaction 和--lock-tables--single-transaction选项和--lock-tables选项是互斥的，因为LOCK TABLES会使任何挂起的事务隐含提交相关探究实验1.
2016-08-11 09:09:15
12074
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人