枫轩缘

原创 正则表达式提取内容

From line 4, column 2 to line 4, column 3: Column 'id' not found in any table从上面报错信息中提前出行号、列号信息。private static final String ERROR_LINE_PATTER = ".*From line (?<lineNum>\\d+), column (?<columnNum>\\d+) to line (?<endLineNum>\\d+),.

原创 单元测试整理

私有/静态字段的mock@RunWith(PowerMockRunner.class)@PrepareForTest({ DataProjectServiceImpl.class })MemberModifier.field(DataProjectServiceImpl.class, "fieldName").set( dataProjectServiceImpl , "public test");私有字段通过反射的方式private void setPrivat...

原创 CSRF原理和防御

CSRF（Cross Site Request Forgery, 跨站域请求伪造）是一种网络的攻击方式。CSRF 攻击可以在受害者毫不知情的情况下以受害者名义伪造请求发送给受攻击站点，从而在并未授权的情况下执行在权限保护之下的操作。攻击实例比如，博客的后台存在一个添加文章的功能，为方便说明，假设它是个get请求，如/admin/add?title=标题&body=内容。要提交这个请

原创 hive2hive mtods自动设置权限实现

由于在galaxy上建hive2hive任务时会自动使用bipreempt帐号创建mtods表，但wormhole在运行hive2hive同步任务时使用sync_shanghai帐号读取北京侧hive表数据，然后写入上海侧mtods表所在hdfs路径，此时会出现写入没有权限的问题。因此需要将目录owner设置为sync_shanghai或将目录的group权限设置为可写。(最初采用的是第一

原创 Wormhole大盘

需求wormhole大盘的主要目标是用于反映wormhole总体的运行情况，其需求来自于一些问题的思考，随便摘录几个：1.众所周知执行机在0点5分开始是传输任务执行高峰期，那在最高峰时，如何知道一个执行机上最多有几个wormhole同时在运行？2.想知道执行机上各个时间段在运行的传输任务数是怎么个分布情况，当时有哪些任务在执行，最好有个图能够一目了然的展示。3.想知

原创 Wormhole、MergeDelta优化

mergedelta优化点1.不带分区的全量hive表，如果wormhole传输数据量为0，即没有更新数据时，不需要进行merge操作2.优化hive log输出-----------------------------------------------------------------------------------------------------------

原创 MergeDelta2.0实现

实现了由mergedelta调用的任务对结果写成ORC格式的支持。但部分ods任务是由starshuttle调用的，即hive表是增量表的mysql2hive任务。本文主要说明mergedelta对将增量表支持写ORC的实现。为了将增量表改造为ORC，那么wormhole不能直接写入目标表所在目录，需要先将TEXT结果存在临时目录，再转换为ORC格式。这个过程和mergedelta有相似之

原创 MergeDelta增加写ORC格式功能

改造目的：主要是为了支持将ods表的merge结果写成ORC文件格式原理：使用HCatalog重写merge的mapreduce过程，HCatalog可以屏蔽hive表的文件存储格式，不需要关心hive表是使用text格式还是orc格式需要考虑的问题：1. 任务如何区分是要写成orc还是写成text？HCatalog会根据目标表表的存储方式来写成相应格式，即如果目标

转载 YARN调度相关整理

理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中

原创 LzoCodec和LzopCodec

使用LZO过程会发现它有两种压缩编码可以使用，即LzoCodec和LzopCodec，它们的区别： 1.LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如bytes signature, header等信息2.如果使用 LzoCodec作为Reduce输出，则输出文件扩展名为".lzo_deflate"，它无法被lzop读取；  如果使用Lz

原创 HCatalog问题记录

1.从多个hive表读取数据2.调用HCatInputFormat.getTableSchema时报错job information not found in JobContext. HCatInputFormat.setInput() not called?3.报错：getDelegationToken() can be called only in thrift (non local) mode4.报错：2004 HCatOutputFormat not initialized, setOutpu

原创 javascript构造json数组

从后端拿到的数据是一个数组，每个元素中包含的数据如下currentTime:"1470729601"host:"10.3.34.21"taskList:nulltaskNum:1想构造类似如下结构的json数组[{    name: 'host:10.1.6.49',    data: [        [1470641461000, 5],

原创 Java原子类

概述原子类由CAS操作保证原子性，由volatile关键字保证可见性。原子类自jdk 1.5开始出现，位于j.u.c.atomic包下面，包含12个类，jdk 1.8又新增了4个性能更好的原子类。可以粗略分成五类：1.整型、长整型、布尔型、引用类型的原子类AtomicInteger、AtomicLong、AtomicBoolean、AtomicReference2.整型数组

原创 BTrace入门

BTrace(Bytecode Trace)是一个Java平台的安全、动态追踪工具，可以不重启应用的情况下监控线上当前执行情况，并且做到最少的侵入，占用最少的系统资源。 为了增强注入代码的安全性，btrace监控脚本有很多限制，如下：no new objectsno new arraysno throwing exceptionsno catching exceptions

原创 RuntimeException: Type "nmethodBucket*", referenced in VMStructs::localHotSpotVMStructs in the remot

问题：使用jmap命令查看某个进程的堆情况时(jmap -heap 198376)，抛异常如下：Attaching to process ID 198376, please wait...Exception in thread "main" java.lang.reflect.InvocationTargetException        at sun.reflect.NativeM

原创 Hadoop知识结构图

原创 MySQL安装以及初始设置

安装查看是否安装过mysql： rpm -qa | grep mysql*查看有没有安装包： yum list mysql*安装mysql： yum install mysql-server设置数据库字符集： /etc/my.cnf中加入default-character-set=utf8添加系统的mysql组、mysql用户在linux系统中添加运

转载 使用curl查看网页源码/自动跳转/显示头信息/显示通信过程/发送表单信息/文件上传/Referer字段/User Agent

转自：http://xshow.iteye.com/blog/1597170curl是一种命令行工具，作用是发出网络请求，然后得到和提取数据，显示在"标准输出"（stdout）上面。@舍得Share它支持多种协议，下面举例讲解如何将它用于网站开发。一、查看网页源码直接在curl命令后加上网址，就可以看到网页源码。我们以网址www.sina.com为例（选

原创 MyBatis Java API

MyBatis的maven依赖  org.mybatis  mybatis  x.x.x使用 MyBatis 的主要 Java 接口就是 SqlSession。SqlSessions 是由 SqlSessionFactory 实例创建的。SqlSessionFactory 对象包含创建 SqlSession 实例的所有方法 。 而 SqlSessionFactory 本

原创 MyBatis配置文件

MyBatis有两种配置文件：全局配置文件和映射文件。全局配置文件：配置了数据源、事务等运行环境，并在mapper属性中给出了每个映射文件的路径.名称不固定，由SqlSessionFactoryBuilder从指定文件路径加载构建出SqlSessionFactory的实例。一个典型的全局配置文件如下：<!DOCTYPE configuration PUBLIC "

原创 原生JDBC程序存在的问题以及MyBatis简介

使用原生JDBC连接存在的问题：1、数据库连接，使用时就创建，不使用立即释放，对数据库进行频繁连接开启和关闭，造成数据库资源浪费，影响数据库性能。设想：使用数据库连接池管理数据库连接。2、将sql语句硬编码到java代码中(并且分散在各个Java类中)，如果sql语句修改(比如where条件改变)，需要重新编译java代码，不利于系统维护。设想：将sql语句统一集中配置在xml配置

原创 Hive安装

hive 0.11.0安装使用mysql存储hive元数据创建新的用户hive，密码也设为hive，并创建新的数据库名为hive,设定为latin1编码赋予并刷新权限grant all on hive.* to hive@'%'  identified by 'hive';grant all on hive.* to hive@'localhost'  identified

原创 Mac 10.10安装hadoop 2.5.1

1.配置好JAVA环境使用java -version检验安装的版本我用的java 1.8.0版本设置好JAVA_HOME环境变量，我的是2.设置ssh无密码访问ssh-keygen -t rsa -P ""  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  ssh localhost 可以无密码登录则说明成功

原创 log4j配置

配置文件的位置放置log4j支持properties和xml两种配置文件手动加载配置文件方式:PropertyConfigurator.configure("log4j.properties");此时加载的是项目根目录下面的log4j.properties，如果把配置文件放conf目录，则只需要写成PropertyConfigurator.configure("conf

原创 mysql更新记录时设置自动更新时间戳

假设表有3个字段：id、name、update_time，希望在新增记录时能自动设置update_time字段为当前时间设置DEFAULT CURRENT_TIMESTAMP即可CREATE TABLE `test` (`id` int NOT NULL,`name` varchar(255),`update_time` timestamp NULL DEFAULT CUR

原创 log4j.xml警告log4j:WARN The content of element type "log4j:configuration" must match "(renderer*,appen

警告的原因是：log4j.xml中相关元素的位置不正确正确的顺序如下,比如每一个都必须在所有的的前面,否则就会报警告：........................参考：http://blog.csdn.net/jackpk/article/details/39580183

原创 Redis入门

Redis是一个开源的、高性能的、基于键值对的缓存与存储系统，通过提供多种键值数据类型来适应不同场景下的缓存与存储需求。安装RedisRedis兼容大部分POSIX系统，包括Linux、OS X和BSD等。在Windows下可以通过Cygwin或虚拟机进行安装。下载最新稳定版(此版本号为偶数的是稳定版本)后解压即可使用make命令完成编译。wget http://downl

原创 自定义终端提示符内容和颜色

基本的提示符为：PS1=”\u@\h:\w”其中转义序列含义为：\u 用户名\h 主机名第一部分\H 主机名全称\w 当前工作目录（如 “/home/username/mywork”）\W 当前工作目录的“基名 (basename)”（如 “mywork”)\t 24 小时制时间\T 12 小时制时间\@ 带有 am/pm 的 12 小时制时间\d “Sat

原创 自动登录ssh的shell脚本

使用expect实现参考：http://segmentfault.com/a/1190000002564816http://blog.csdn.net/zdhliang/article/details/8520566http://blog.chinaunix.net/uid-8504518-id-2030828.html

原创 maven打包生成可执行jar文件

1.修改pom.xml增加如下内容 org.apache.maven.plugins maven-shade-plugin 2.0 package

原创 Maven入门

安装Maven1.下载官方下载地址：http://maven.apache.org/download.cgi当前最新版本是Maven 3.3.3选择二进制zip包进行下载后解压即可，Maven是免安装的.2.配置主要配置2个环境变量: MAVEN_HOME 和 MAVEN比如：MAVEN_HOME : D:\apache-maven-3.3.

原创 PowerMock测试小例

EasyMock和Mockito等框架，对static, final, private方法均是不能mock的。这些框架普遍是通过创建Proxy的方式来实现的mock。 而PowerMock是使用CGLib来操纵字节码而实现的mock，所以它能实现对上面方法的mock。public final class AFinalClass { public final String ech

原创 maven install时surefire报错

maven install时surefire报错错误信息如下：警告: Error injecting: org.apache.maven.plugin.surefire.SurefirePluginjava.lang.NoClassDefFoundError: org/apache/maven/surefire/util/NestedCheckedExceptionat jav

原创 JUnit入门

1.使用eclipse建立测试类：http://blog.csdn.net/wangpeng047/article/details/9627527Eclipse中集成了JUnit，可以非常方便的建立测试类使用JUnit4，测试类的名称一般在被测试的类后加Test即可，在Class under test中选择要进行测试的类然后点击Next勾选要测试的函数方法

原创 Core Java笔记—第11章 异常与调试

11.1 处理错误所有的异常都是由Throwable类继承而来，分为Error和Exception两个分支.Error类层次结构描述了Java运行时系统的内部错误和资源耗尽错误.如果出现这样的内部错误，除了通知用户，并尽力使程序安全地终止之外，再也无能为力了.在进行Java程序设计的时候，需要关注Exception层次结构，这个层次结构又分解为两个分支:一个分支是派生Runti

原创 Core Java笔记—第6章 接口与内部类

6.1 接口在Java程序设计语言中，接口不是类，而是一组对类的需求描述，这些类要遵从接口描述的统一格式进行定义.接口中的所有方法自动设为public，因此在接口中声明方法时，不必提供关键字public.但是方法不能是static的.接口中的变量域自动设为public static final.在JDK 5.0中，Comparable接口已经改进为泛型类型.pu

原创 Core Java笔记—第5章 继承

5.1 类、超类和子类在Java中使用关键字super调用超类的方法，而在C++中则采用超类名加上::操作符的形式.使用super调用构造器的语句必须是子类构造器的第一条语句.如果子类的构造器没有显式地调用超类的构造器，则将自动地调用超类默认(没有参数)的构造器.如果超类没有不带参数的构造器，并且在子类的构造器中又没有显式地调用超类的其他构造器，则Java编译器将报告错误.

原创 Core Java笔记—第4章 对象与类

4.2 使用现有的类在Java中，任何对象变量的值都是对存储在另外一处的一个对象的引用，new操作符的返回值也是一个引用.4.3 用户自定义类注意不要返回引用可变对象的访问器方法.如：public Date getHireDay(){  return hireDay;}如果需要返回一个可变对象的引用，应该首先对它进行克隆(clone)，对象的克隆是指存放

原创 Core Java笔记—第3章 Java基本的程序设计结构

3.3 数据类型Java源代码的文件名必须与公有类的名字相同，并用.java作为扩展名.在Java中，一共有8种基本类似(primitive type)：4种整型、2个浮点型、1个用于表示unicode编码的char和1个表示真值的boolean类型. 注意，Java中没有任何unsigned类型.JDK 5.0中可以用十六进制表示浮点数值，如0.125表示成0x1.0

原创 BAT批处理回显时间和目录

@echo offecho 测试回显echo 当前时间：%date% %time%echo 当前盘符：%~d0echo 当前路径：%cd%echo 当前执行命令行：%0echo 当前bat文件路径：%~dp0echo 当前bat文件短路径：%~sdp0pause执行结果