huimingBall-CSDN博客

原创 ES安装以及使用

1.安装java升级到jdk8，下载eshttps://www.elastic.co/downloads/elasticsearch解压es压缩包，启动es./bin/elasticsearch访问ES：http://localhost:9200/显示：{ "name" : "pleYB0j", "cluster_name" : "elasticsearch

2017-04-10 22:50:04 783

转载 HiveSQL解析过程详解

HiveSQL解析过程详解

2017-04-05 23:45:35 1719

原创 Hive explain详解

使用explain关键字对Hive查询优化

2017-04-04 21:42:35 6405 2

原创 Druid入门

druid的安装教程

2017-04-02 23:52:58 8308 2

原创 Kafka入门

1.安装与启动1.1zookeeper安装Kafka需要依赖Zookeeper才能运行。1)登录主机，执行以下命令，下载并解压Zookeeper$ cd /opt$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6

2017-03-30 19:57:02 754

原创 Hive中UDF、UDAF和UDTF使用

1.Hive中的内置函数org.apache.hadoop.hive.ql.exec.FunctionRegistry类中定义了Hive目前内置的自定义函数 registerGenericUDF("concat", GenericUDFConcat.class); registerUDF("substr", UDFSubstr.class, false); reg

2017-03-22 20:12:06 2192

原创 flume上报日志到kafka

1.flume安装参考：http://blog.csdn.net/lnho2015/article/details/520351451. 系统需求Flume需要Java 1.6及以上（推荐1.7），对Agent监控目录的读写权限。2. 下载软件包到Flume官网上http://flume.apache.org/download.html下载软件包,例如：wget "

2017-03-14 21:01:23 5733

原创 Intellij使用总结

1.快捷键2.界面

2017-03-05 20:34:29 585

原创 Spark资源

1，《Scala深入浅出实战经典》http://pan.baidu.com/s/1pJnAUr52，《Spark纯实战公益大讲坛》http://pan.baidu.com/s/1sLeVk3，《Docker公益大讲坛》http://pan.baidu.com/s/1hq0GztU4，《spark亚太研究院spark公益大讲堂》http://pan.baidu.com/s/1i30Ewsd

2016-01-13 00:14:27 501

原创 jdk7 中Collections.sort 异常

Collections.sort 异常java.lang.IllegalArgumentException: Comparison method violates its general contract! at java.util.TimSort.mergeHi(TimSort.java:868) at java.util.TimSort.mergeAt(Ti

2014-06-23 14:09:57 7197

原创 Solr4 + Jcseg 数据导入

本文介绍如何从数据库将数据导入到Solr并且使用jcseg进行分词在tomcat目录下，solr的配置文件目录：\tomcat\solr\collection1\conf（1）schema.xml query tit

2014-01-03 15:37:09 1598

原创 Solr4 + Jcseg 学习

环境部署这里我安装的是Solr4.6和jcseg1.9.2下载地址（网上可以搜索到）安装solr：1.solr安装解压后，将\solr-4.6.0\dist目录下的solr-4.6.0.war 更名为solr.war，然后放到tomcat的webapps下；2.将\solr-4.6.0\example目录下的solr目录拷贝到tomcat子目录中；3

2014-01-03 10:53:16 4587 1

转载使用Eclipse 构建Maven项目

使用Eclipse 构建Maven项目1. 安装m2eclipse插件要用Eclipse构建Maven项目，我们需要先安装meeclipse插件点击eclipse菜单栏Help->Eclipse Marketplace搜索到插件Maven Integration for Eclipse 并点击安装即可，如下图：安装成成之后我们在Ecl

2013-05-22 10:14:36 960

转载 Hadoop源代码分析（三）RPC

Hadoop源代码分析（三）RPC原文：http://caibinbupt.iteye.com/blog/280790介绍完org.apache.hadoop.io以后，我们开始来分析org.apache.hadoop.rpc。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS的，通信可能发生在：Cli

2013-04-02 13:33:27 882

转载 Hadoop源代码分析（二）IO结构

Hadoop源代码分析（二）IO结构本文并非完全原创，根据文章：http://caibinbupt.iteye.com/blog/277640由于Hadoop的MapReduce和HDFS都有通信的需求，需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化，而是引入了它自己的系统。org.apache.hadoop.io中定义了大量的可序列化对象，他们都实现了

2013-04-02 13:26:30 966

转载 Hadoop源代码分析（一）源码结构

Hadoop源代码分析（一）源码结构本文并非完全原创，根据文章：http://caibinbupt.iteye.com/blog/262412的一些学习心得。首先给出源码包：功能分析：Dependencestool提供一些命令行工具，如DistCp，archivemapreduceHadoop的Map/Reduce实现filecach

2013-04-02 13:22:29 1231

转载 hadoop 添加kerberos认证

hadoop 添加kerberos认证http://blog.chinaunix.net/uid-1838361-id-3243243.html

2013-03-27 09:47:53 1152

原创 Windows下安装Hadoop开发环境

Windows下安装Hadoop开发环境准备：1.Eclipse2.Java 6+3.Cygwin4.Hadoop1.安装Cygwin通过链接下载http://cygwin.com/setup.exe，打开exe文件，运行安装程序。 1.显示 Cygwin 欢迎屏幕。2.单击 Next 进入下一个屏幕，选择要执行的安装类型。3.单击 Install fr

2013-03-26 17:31:32 2867

原创 MySQL 主从分离

MySQL 主从分离主库配置1、/etc/my.cnf 主数据库配置#一般已存在server-id = 1#需要进行复制的数据库binlog-do-db = search#不需要进行复制的数据库replicate-ignore-db = mysqlreplicate-ignore-db = testreplicate-ignore-db = in

2013-03-14 17:26:00 1464

原创 Hadoop 学习笔记（三）常用命令

Hadoop 学习笔记（三）常用命令进入HADOOP_HOME目录。执行sh bin/start-all.sh进入HADOOP_HOME目录。执行sh bin/stop-all.sh Usage: java FsShell [-ls ] [-lsr ] [-du ]

2013-03-04 16:40:19 4494

原创 Spring3 url匹配规则

Spring3 url匹配规则WildcardDescription ?匹配任何单字符 *匹配0或者任意数量的字符 **匹配0或者更多的目录举例：PathDescription /app/*.x匹配(Matches)所有在app路径下的.x文件

2013-01-28 13:01:13 1668

原创 Spring3 LDAP

Spring3 LDAP这里介绍使用LDAP来校验用户1.准备阶段下载相关的jarspring-ldap-1.3.0.RELEASE-all.jar可以去http://www.springsource.org/ldap/这里下载。2.配置相关 <bean id="contextSource" class="org.springframework.l

2013-01-22 23:12:04 3332

原创使用Spring3 实现用户登录以及权限认证

使用Spring3 实现用户登录以及权限认证这里我就简单介绍一下，我在实现的时候处理的一些主要的实现。1.用户登录用户名密　码 © 2

2013-01-21 18:19:57 22970

原创 Maven 使用

Maven 使用1. 安装到http://maven.apache.org/download.html下载Maven安装文件；以Eclipse 3.6为例逐步讲解m2eclipse的安装。启动Eclipse之后，在菜单栏中选择Help，然后选择Install New Software…，接着你会看到一个Install对话框，点击Work with:字段边上的Add按钮，你会得到

2012-12-27 12:47:44 983

原创在Spring3中使用MyBatis

Mybatis Spring31.MyBatis 例子首先，单独使用MyBatis时：import java.io.IOException;import java.io.Reader;import org.apache.ibatis.io.Resources;import org.apache.ibatis.session.SqlSessionFactory;

2012-12-20 00:17:03 5221

原创 Spring3 MVC 拦截器

Spring3 MVC 拦截器我这里定义一个全局的拦截器：定义在servlet-config.xml文件中。以下是一个拦截器，它用来记录访问的ip和流量。拦截器需要实现HandlerInterceptor接口，同时实现相应的

2012-12-20 00:00:07 2560

原创 JSoup HTML解析器

JSoupjsoup Cookbook(中文版)入门解析和遍历一个html文档输入解析一个html字符串解析一个body片断根据一个url加载Document对象根据一个文件加载Document对象数据抽取使用dom方法来遍历一个Document对象使用选择器语法来查找元素从元素集合抽取属性、文本和html内容URL处理程序示例：获取

2012-12-18 14:29:18 7548

原创 Linux 命令-Top

Linux 命令-Toptop命令经常用来监控linux的系统状况，比如cpu、内存的使用，程序员基本都知道这个命令，但比较奇怪的是能用好它的人却很少，例如top监控视图中内存数值的含义就有不少的曲解。本文通过一个运行中的WEB服务器的top监控截图，讲述top视图中的各种数据的含义，还包括视图中各进程（任务）的字段的排序。第一行：10:

2012-12-18 00:52:46 1100 1

原创 Spring3 Mybatis 日志配置

Spring3 Mybatis 日志配置1. Log4j①、配置根Logger　　Logger 负责处理日志记录的大部分操作。　　其语法为：　　 log4j.rootLogger = [ level ] , appenderName, appenderName, …　　其中，level 是日志记录的优先级，分为OFF、FATAL、ERROR、WARN、INFO、DEBU

2012-12-17 22:03:09 10920

原创 Spring3 Mybatis 异常处理

Spring3 Mybatis 异常处理通常在 Dao 层将所有异常都转嫁到 Spring 的 RuntimeException 体系中来　－DataAccessException Spring的DAO框架没有抛出与特定技术相关的异常，例如SQLException或HibernateException，抛出的异常都是与特定技术无关的org.springframework.dao.DataA

2012-12-16 00:57:53 34983 1

原创 Mybatis3 缓存

Mybatis3 缓存首先我列出Mybatis的配置文件：然后是SQL映射文件的配置<cache eviction="FIFO" flushInterval="60000" size="1024" readOnly="true"/> s

2012-11-29 14:10:26 8102 1

转载 spring3.0注解

spring3.0注解使用 @Repository、@Service、@Controller 和 @Component 将类标识为 BeanSpring 自 2.0 版本开始，陆续引入了一些注解用于简化 Spring 的开发。@Repository 注解便属于最先引入的一批，它用于将数据访问层 (DAO 层 ) 的类标识为 Spring Bean。具体只需将该注解标注在 DAO

2012-11-26 16:36:11 1003

原创 Spring3 MVC 异常处理

Spring3 MVC 异常处理Spring3.0中对异常的处理方法一共提供了两种：一种是使用HandlerExceptionResolver接口；一种是在Controller类内部使用@ExceptionHandler注解。使用第一种方式可以实现全局异常控制，并且Spring已经提供了一个默认的实现类SimpleMappingExceptionResolver；使用第二种方式可以在Con

2012-11-25 22:30:00 2963 1

原创 Spring3 整合 Mybatis3

Spring3 整合 Mybatis3这两天，项目需要使用spring+ibatis，于是去网上下载了，结果发现和之前我用的版本变化不小，整了两天才将功能实现，不敢怠慢，赶紧写份博客记录一下。首先是依赖的库:接着是web.xml的配置，这里，我使用的是Spring3 MVC Log welcome.html log4jCo

2012-11-22 00:50:42 3637 3

原创 Sping3 MVC JSON 例子

Sping3 MVC JSON 例子1、引入下面两个jar包，我用的是1.8.10，好像1.4.2版本以上都可以，下载地址：http://wiki.fasterxml.com/JacksonDownloadjackson-core-asl-1.8.10.jar jackson-mapper-asl-1.8.10.jar同时引入Sping 本身的jar包：

2012-11-19 00:45:57 1500

原创 jqgrid 表格数据导出

jqgrid 表格数据导出jqgrid并没有自带导出表格数据的方法，这里就自己实现了一个，尝试过在页面直接将数据导出，发现只有IE下可以通过调用saveas来实现，但是别的浏览器不支持，于是考虑将数据传回后台，然后后台返回下载文件来实现。首先，是一段javascript脚本：/** * * * @param table_id 表格的id * @par

2012-11-13 14:06:22 5791 3

原创 jqgrid自适应宽度，高度问题

jqgrid自适应宽度，高度问题这是一段用jquery实现的实现宽度自适应的代码，其中bind时间两行代码，是用来防止重复执行。$(window).resize(function(){ $(window).unbind("onresize"); $("#keyword_detail").setGridHeight($(window).height() -

2012-11-11 00:14:44 70851 3

原创 jqGrid 开源jquery表格控件

jqGrid 开源jquery表格控件jqGrid是一个Ajaxed jQuery Grid插件。提供分页功能，添加、编辑、删除和搜索表中记录，支持多种数据类型输入：XML，JSON，Array等，多行选择，支持子表格，集成日期选择控件等等。jqGrid特性：基于jquery UI主题，开发者可以根据客户要求更换不同的主题。兼容目前所有流行的web浏览器。Aja

2012-11-07 23:36:41 3763

原创 Servlet实现文件下载以及遇到的问题

Servlet实现文件下载以及文件乱码问题1.实现是sevlet类import java.io.IOException;import java.io.PrintWriter;import javax.servlet.ServletException;import javax.servlet.http.HttpServlet;import javax.servlet.http.

2012-11-05 23:47:40 1910 1

原创 Highcharts js画图插件

Highcharts是一个制作图表的纯Javascript类库，主要特性如下：兼容性：兼容当今所有的浏览器，包括iPhone、IE和火狐等等；对个人用户完全免费；纯JS，无BS；支持大部分的图表类型：直线图，曲线图、区域图、区域曲线图、柱状图、饼装图、散布图；跨语言：不管是PHP、Asp.net还是Java都可以使用，它只需要三个文件：一个是Highcharts的核心文件highchart

2012-11-04 01:04:47 4821 3