13 huimingBall

尚未进行身份认证

我要认证

热衷于技术,从事大数据相关工作。

等级
TA的排名 1w+

ES安装以及使用

1.安装java升级到jdk8,下载eshttps://www.elastic.co/downloads/elasticsearch解压es压缩包,启动es./bin/elasticsearch访问ES:http://localhost:9200/显示:{ "name" : "pleYB0j", "cluster_name" : "elasticsearch

2017-04-10 22:50:04

HiveSQL解析过程详解

HiveSQL解析过程详解

2017-04-05 23:45:35

Hive explain详解

使用explain关键字对Hive查询优化

2017-04-04 21:42:35

Druid入门

druid的安装教程

2017-04-02 23:52:58

Kafka入门

1.安装与启动1.1zookeeper安装Kafka需要依赖Zookeeper才能运行。1)登录主机,执行以下命令,下载并解压Zookeeper$ cd /opt$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6

2017-03-30 19:57:02

Hive中UDF、UDAF和UDTF使用

1.Hive中的内置函数org.apache.hadoop.hive.ql.exec.FunctionRegistry类中定义了Hive目前内置的自定义函数 registerGenericUDF("concat", GenericUDFConcat.class); registerUDF("substr", UDFSubstr.class, false); reg

2017-03-22 20:12:06

flume上报日志到kafka

1.flume安装参考:http://blog.csdn.net/lnho2015/article/details/520351451. 系统需求Flume需要Java 1.6及以上(推荐1.7),对Agent监控目录的读写权限。2. 下载软件包到Flume官网上http://flume.apache.org/download.html下载软件包,例如:wget "

2017-03-14 21:01:23

Intellij使用总结

1.快捷键2.界面

2017-03-05 20:34:29

Spark资源

1,《Scala深入浅出实战经典》http://pan.baidu.com/s/1pJnAUr52,《Spark纯实战公益大讲坛》http://pan.baidu.com/s/1sLeVk3,《Docker公益大讲坛》http://pan.baidu.com/s/1hq0GztU4,《spark亚太研究院spark公益大讲堂》http://pan.baidu.com/s/1i30Ewsd

2016-01-13 00:14:27

jdk7 中Collections.sort 异常

Collections.sort 异常java.lang.IllegalArgumentException: Comparison method violates its general contract! at java.util.TimSort.mergeHi(TimSort.java:868) at java.util.TimSort.mergeAt(Ti

2014-06-23 14:09:57

Solr4 + Jcseg 数据导入

本文介绍如何从数据库将数据导入到Solr并且使用jcseg进行分词在tomcat目录下,solr的配置文件目录:\tomcat\solr\collection1\conf(1)schema.xml query tit

2014-01-03 15:37:09

Solr4 + Jcseg 学习

环境部署这里我安装的是Solr4.6和jcseg1.9.2下载地址(网上可以搜索到)安装solr:1.solr安装解压后,将\solr-4.6.0\dist目录下的solr-4.6.0.war 更名为solr.war,然后放到tomcat的webapps下;2.将\solr-4.6.0\example目录下的solr目录拷贝到tomcat子目录中;3

2014-01-03 10:53:16

使用Eclipse 构建Maven项目

使用Eclipse 构建Maven项目1. 安装m2eclipse插件    要用Eclipse构建Maven项目,我们需要先安装meeclipse插件    点击eclipse菜单栏Help->Eclipse Marketplace搜索到插件Maven Integration for Eclipse 并点击安装即可,如下图:  安装成成之后我们在Ecl

2013-05-22 10:14:36

Hadoop源代码分析(三)RPC

Hadoop源代码分析(三)RPC原文:http://caibinbupt.iteye.com/blog/280790介绍完org.apache.hadoop.io以后,我们开始来分析org.apache.hadoop.rpc。RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。当我们讨论HDFS的,通信可能发生在:Cli

2013-04-02 13:33:27

Hadoop源代码分析(二)IO结构

Hadoop源代码分析(二)IO结构本文并非完全原创,根据文章:http://caibinbupt.iteye.com/blog/277640由于Hadoop的MapReduce和HDFS都有通信的需求,需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化,而是引入了它自己的系统。org.apache.hadoop.io中定义了大量的可序列化对象,他们都实现了

2013-04-02 13:26:30

Hadoop源代码分析(一)源码结构

Hadoop源代码分析(一)源码结构本文并非完全原创,根据文章:http://caibinbupt.iteye.com/blog/262412的一些学习心得。首先给出源码包:功能分析:Dependencestool提供一些命令行工具,如DistCp,archivemapreduceHadoop的Map/Reduce实现filecach

2013-04-02 13:22:29

hadoop 添加kerberos认证

hadoop 添加kerberos认证http://blog.chinaunix.net/uid-1838361-id-3243243.html

2013-03-27 09:47:53

Windows下安装Hadoop开发环境

Windows下安装Hadoop开发环境准备:1.Eclipse2.Java 6+3.Cygwin4.Hadoop1.安装Cygwin通过链接下载http://cygwin.com/setup.exe,打开exe文件,运行安装程序。 1.显示 Cygwin 欢迎屏幕。2.单击 Next 进入下一个屏幕,选择要执行的安装类型。3.单击 Install fr

2013-03-26 17:31:32

使用Python定时更新Mysql数据

使用Python定时更新Mysql数据先描述一下这个需求:服务器端有两张表,album_item和album_item_inc,一张是全量表,每天凌晨生成一次,一张是增量表。实时更新,我这边需要保留一份全量表,然后将每分钟的增量更新到这张全量表。1. MySQL操作首先,创建表和创建用户:导出数据库表结构:mysqldump -usearch -p -B albu

2013-03-21 18:06:15

MySQL 主从分离

MySQL 主从分离主库配置1、/etc/my.cnf 主数据库配置#一般已存在server-id = 1#需要进行复制的数据库binlog-do-db = search#不需要进行复制的数据库replicate-ignore-db = mysqlreplicate-ignore-db = testreplicate-ignore-db = in

2013-03-14 17:26:00

查看更多

勋章 我的勋章
    暂无奖章