men子烦高-CSDN博客

原创 druid学习-安装

最近因为业务需要，需要部署druid来做olap分析，关于选型可以看下知乎里大神的分析 https://www.zhihu.com/question/41541395?sort=created (此druid非阿里的数据库连接池druid) 步入正题，druid安装，可以选择imply ( https://imply.io/ )，我这儿选择的是druid-0.10.1 1. 解压 tar

2017-09-11 16:34:49 1520

原创一次github和jenkins集成构建异常处理

最近Jenkins出问题了，github总是behind Apache eagle 6个commits。下面是我们构建的shell#!/bin/bashunset SSH_ASKPASSgit checkout mastergit statusecho "Git remote..."git remote add upstream https://github.com/apache/eagl

2017-06-09 10:25:30 827

转载 KMP字符串模式匹配算法Java实现

转载自：http://www.jianshu.com/p/e2bd1ee482c3本文灵感来自于July的博客从头到尾彻底理解KMP，并着重于Java实现 :)。现有字符串匹配算法有不少，如简单暴力的朴素算法(暴力匹配算法)、KMP算法、BM算法以及Sunday算法等，在这里仅介绍前两种算法。1. 朴素算法朴素算法即暴力匹配算法，对于长度为n的文本串S和长度为m模式串P，在文

2017-05-12 15:21:16 989

转载 Spark Streaming Backpressure分析

转载自http://www.cnblogs.com/barrenlake/p/5349949.html1、为什么引入Backpressure 默认情况下，Spark Streaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batch processing time > batch interval的情况，其中batch

2016-09-20 14:53:59 2523

原创 maven打包时包含assembly id的问题

刚接触maven时，使用 maven-assembly-plugin插件进行打包，发现打包出来的结果总是末尾包含assembly id，不符合既定的规则，一直未百度出结果，因不影响功能，就未深究，最后老大在Google找到了答案，关键是false ${project.artifactId} org.

2016-07-12 17:44:28 11154 2

原创 oozie web无法访问 oozie web console is disabled

搭建好oozie环境后，访问oozie url，报如下错误 Oozie web console is disables. To enable Oozie web console install the Ext JS library. 解决办法：进入oozie server机器下的 /var/lib/oozie目录，将ext-2.2.zip解压即

2016-07-12 17:29:47 3882

原创 oozie server系统时钟偏差导致sqoop报错

使用oozie通过sqoop导数报错如下Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SqoopMain], main() threw exception, begin > end in range (begin, end): (1464673410428, 1464673380508)

2016-06-03 11:00:51 1821

原创 Oozie workflow工作流action间参数传递实现

假设workflow里有两个action节点，shell和hive，hive需要用到shell节点里的值，shell脚本如下#!/bin/shday=`date '+%Y%m%d%H'`echo "day:$day"hive节点需传入day这个参数。需要用到shell节点里这个属性，如下 ${jobTracker} ${

2016-03-11 18:09:55 6928 1

原创 oozie timezone时区配置

cloudera oozie默认时区是UTC，在开发oozie任务时必须在期望执行的时间上减去8小时，很不习惯。记录下修改时区的配置操作。1. cloudera oozie配置—>Oozie Server Default Group -->高级-->oozie-site.xml 的 Oozie Server 高级配置代码段（安全阀）添加 oozie.processing

2016-03-11 17:51:33 7008

原创 Number of actions are more than display limit 25.

oozie提交任务后查看Job DAG，发现报错如下找oozie配置并未发现相关参数，通过查询发现竟是在oozie4.1.0版本将其作为bug修复，actions数量超过25个不生成gragh。参考JIRA ： https://issues.apache.org/jira/browse/OOZIE-1529 参考github ： http

2015-12-30 09:51:30 1958

原创分区表无法查询手动put进hdfs的数据问题

向hive表对应hdfs中新建目录，put数据后，在hive命令行查询，查不到put进分区的数据，下面记录处理方法：分区既然是HDFS目录，那就可以通过hdfs put命令直接向HDFS添加分区。然而，元存储拥有所有表的元数据，它不会自动识别这些直接被添加到HDFS的分区。Hive提供了命令MSCK REPAIR TABLE tableName;，可以自动地更新元存储来恢复分区。如果基

2015-12-11 11:52:30 3328

原创 hive分区表增加字段新增字段值为空的bug

关键字： hive, partition, add columnhive JIRA：https://issues.apache.org/jira/browse/HIVE-6131 最近在查hive版本问题，发现在hive1.1.0和hive1.2.1上，分区表新增字段后新增字段值为空的情况。网上查了资料，提供了两种解决办法：1. 修改hive元数据SDS表的CD_ID字段，

2015-11-20 15:01:30 16587 1

转载 JVM 启动参数详解

JAVA虚拟机（JVM）通过操作系统命令JAVA_HOME\bin\java –option 来启动，-option为虚拟机参数，JAVA_HOME为JDK安装路径，通过这些参数可对虚拟机的运行状态进行调整，掌握参数的含义可对虚拟机的运行模式有更深入的理解。虚拟机参数分为基本和扩展两类，在命令行中输入JAVA_HOME\bin\java 就可得到基本参数列表，在命令行输入JAVA_HOME

2015-11-02 14:11:37 3149

原创查看hive版本

hive没有提供hive --version这种方式查看版本号，可以考虑查看hive加载jar方式来查看。具体操作记录如下：1.执行hive命令2.在克隆窗口下执行jps，查到进程号7225 RunJar3.执行lsof -g 7225 | grep hive,查看加载到的hive相关jar包java 7225 7225 lujian 57r REG 8,6

2015-10-15 09:42:18 7982

原创 oozie执行时报错无法跟进FAILED

执行oozie时，会出现直接报出FAILED错误，而且不能跟进查看错误日志。如下图错误：通过查看oozie源码，可以发现core\src\main\java\org\apache\oozie包下有一个ErrorCode枚举类，该类列出了所有错误代码，包括上图的E0730。详细代码如下： public enum Erro

2014-12-11 14:15:24 11692 1

转载 Oracle中dual表的用途介绍

转载自http://www.cnblogs.com/qiangqiang/archive/2010/10/15/1852229.html，用于收藏导读]dual是一个虚拟表，用来构成select的语法规则，oracle保证dual里面永远只有一条记录。我们可以用它来做很多事情。　　1、查看当前用户，可以在 SQL Plus中执行下面语句 select user from dual;

2014-03-15 11:21:49 594

转载 hibernate 延迟加载底层实现机制

Hibernae 的延迟加载是一个非常常用的技术，实体的集合属性默认会被延迟加载，实体所关联的实体默认也会被延迟加载。Hibernate 通过这种延迟加载来降低系统的内存开销，从而保证 Hibernate 的运行性能。下面先来剖析 Hibernate 延迟加载的“秘密”。集合属性的延迟加载当 Hibernate 从数据库中初始化某个持久化实体时，该实体的集合属性是否随持久化

2013-10-26 19:57:26 744

转载 java中垃圾回收算法

转自：http://www.blogjava.net/Jack2007/archive/2008/04/11/192288.html引言　　Java的堆是一个运行时数据区，类的实例(对象)从中分配空间。Java虚拟机(JVM)的堆中储存着正在运行的应用程序所建立的所有对象，这些对象通过new、newarray、anewarray和multianewarray等指令建立，但

2013-10-24 00:02:45 815

转载 MYSQL常用引擎

MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还可以使用MySQL++ API自己做一个引擎。下面介绍几种数据库引擎： ISAM：ISAM是一个定义明确且历经时间考验

2013-10-23 23:58:01 753

转载如何把阿拉伯数字转换为中文大写？

public class Chinese{ public String returnResult(long num) { String numStr = String.valueOf(num); // 主要理念是把数字字符串最终分隔为四个一组四个一组的，不足的不管。 if (numStr.length() > 8 & numStr.length() < 16) { //

2013-10-23 18:13:25 955

原创 libjvm.so:cannot restore segment prot after reloc:Permission denied

在red hat 5上装java开发环境时，遇到如下错误：解决如下：这是因安全级别和防火墙导致的，使用如下命令：关闭SELINX，执行：/usr/sbin/setenforce 0 然后注销再次登录即可解决问题。

2013-08-20 23:55:35 803

转载含有负数的取模运算

前两天做一套笔试题，碰到了关于负数取模的题目，又出错了，一直没弄清，今天去上网查了资料，看了一篇文章总结得不错，特此转载记录下。 System.out.println(7 % -3); // 2 System.out.println(-7 % 3); //-1 正整数的取余运算大家都很熟悉，但是对于负数、实数的取

2013-08-16 11:12:07 1175

men子烦高的烂笔头