li72li72-CSDN博客

原创 nginx安装配置记录

文章出处：http://blog.csdn.net/lili72环境cenos5.9 安装在192.168.119.131上进行.安装路径统一为/home/bigdata/ 1 安装之前需要先安装： 1.1 openssl 1.1.1 下载 ,cd /home/bigdata/ wget http://www.openssl.org/source/openssl-

2015-01-31 21:43:57 7140 1

原创 SecureCRTP配置几个小技巧

原文来自：http://blog.csdn.net/lili72 lili72背景：由于在lunix上操作，最常用的是secureCRT，现在把这个工具，基本常用方式记录一下。一：设置直接跳到跳板机，不要再次ssh 登陆。A--B-->C 不用跳2次到达目的机，一次直接到达。1 2 3456 7 8 二：设置编辑器

2015-01-27 22:20:16 2943

原创 hive客户端升级及添加hadoop超级权限

文章来自：http://blog.csdn.net/lili72背景：旧版本的hive 在用的过程中，经常出现一些bug，无法解决，比如无法找到表们无法找到分区等。由于并发比较大，常见如下异常：com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.DELETEME1414791576856' do

2015-01-25 23:08:55 2716

原创周平均月平均设计

http://blog.csdn.net/lili72背景：有些报表除了需要每天的数据走势图，有时还需要每周的平均和每月的平均，再和上周或月作比较，计算差值，然后分别形成周平均报表和月平均报表。日报表：每天计算报表数据周报表：每周某个时间只计算一次月报表：每月每个时间只计算一次以下设计可以作为比较通用的周月差值计算方式。考虑到查询条件的跨年，所以设计表的时候有

2015-01-19 21:34:42 2170

原创工作中的oracle常用维护

http://blog.csdn.net/lili72背景：由于历史原因，公司部分业务还在使用oracle中。一出问题就是搞的很麻烦。由于长期使用的是mysql 和hive，Hbase等，一些oracle的命令慢慢的也是忘记了，但是公司某些在oracle上的业务，突然出现问题，每次查找问题都查得比较费劲，现把常用命令记录下来。常遇到的oracle的问题： 1.

2015-01-15 21:34:07 1149

原创数据平台调度系统的设计

文章出自： http://blog.csdn.net/lili72 1 能定时发起各类型的任务1.1 任务类型比如 shell脚本，或者jar 程序，或者调用存储过程1.2 可以设置每天什么时候开始执行，每天执行几次。或者每隔多久执行一次（类crontab）1.3 数据平台一般的任务类型有： 1.3.1 101任务：检查数据源文件是否到齐（包括文件个数，或者

2015-01-02 15:05:50 3749 1

原创 storm准实时应用

1 应用背景：需要实时统计用户的登陆数，在线人数，活跃时间，下载等指标的数据，或者清洗后移到hdfs上。 2 设计架构： 1）客户端产生数据--- 2） kafka-生产者实时采集数据（保留7天）----- 3） storm实时消费数据，处理数据 4）把实时数据统计结果缓存到memcached 中

2014-12-29 22:33:16 4344

原创 json数据源文件解析

文章： http://blog.csdn.net/lili72背景：分布式文件通过rsync同步到生产机。文件数 1440=24*60 也就是一分钟生成一个文件文件命名 0000 0001 0002 ... 2358 2359 。由于文件传过来是JSON格式，需要对文件进行解析，导入HDFS中。过程 1 rsync同步文件到当天的日期目录，每天实时把文件

2014-12-19 22:07:09 2051

原创 etl工作中的设计问题

http://blog.csdn.net/lili72背景1 ：随着接入数据和处理数据的增加，生产脚本也越来越多，脚本由于前期的开发人员没有做到规范管理，导致脚本很乱。解决方案： 1）在lunix上规范目录，按平台，业务模块分目录存放。 2）做好版本管理，提交到生产的脚本必须要commit到svn服务器。 3） lunix上的目录是反应到svn的目录映射。

2014-12-10 22:12:39 1234

原创用户标签设计

http://blog.csdn.net/lili72背景：需要更加符合实际的了解用户对产品的使用情况，取每天流水数据，统计分析一个时间段用户的行为特点：用户地区属性：最近30天出现的地方，据此推测用户所在地方，用户出现最多和用户最近出现的地方。用户偏好属性：最近30天用户使用的菜单，据此推测用户所偏好的产品，更深入知道用户的年龄层，定向向用户推送类似的产品。

2014-12-09 23:35:58 3915

原创 hadoop平台读取文件报错

背景：生产环境有个脚本执行读取st层表数据时出现IO错误，查看表目录下的文件，都是压缩后的文件。详细信息如下：Task with the most failures(4):-----Task ID:task_201408301703_172845_m_003505URL:http://master:50030/taskdetails.jsp?jobid=j

2014-12-08 22:19:36 6146 1

原创 hadoop平台工作梳理

数据平台：一、 hadoop平台：Hbase，hive,storm,spark 1）部署hadoop到多台机器，调整配置参数，保证正常运行。可能出现作业挂死现象。 2）部署hive客户端，元数据库mysql等的配置，hive客户端是不参与集群的，mysq

2014-11-15 00:04:23 3286

原创 sqoop相关整理记录

生产背景：在从mysql导入到hive中,遇到如下问题： 1）源mysql和集群机器不在同一个网段中，导致执行导入命令，网络连接失败。 2）某些字符导入到hive中，出现报错终止。 2.1 sqoop使用的JDBC-connector 版本太低（更换版本）。从hive导出到mysql中，遇到如下问题： 1）某些字符插入mysql，出现报错终止。 1.1

2014-11-07 21:16:42 17341

原创数据源监控与预警

最近工作需要做一个数据源监控系统，监测每天的数据是否，按时，按量送过来，首先应为数据接入过来的时候，已经记录了相关的日志，比如文件到达时间，文件总个数，文件中总记录数，文件大小，数据日期等，现在要对这些指标进行监控并及时预警（发短信或邮件到对应的负责人），并记录到预警表中，好对预警后的异常进行跟踪处理。考虑到节假日对数据量的影响，还增加文件记录数和文件大小的同比，环比进行监测。名词解释：同

2014-10-11 21:00:33 4899

从extjs 到 easyui 到html5到hightchars 再到hightmaps。Exjts和easyui很相似，extjs是重量级的，easyui轻量级的，比extjs容易上手，照着demo改就可以开发了，easyui入门demo见：easyui-demo，或者到官网http://www.jeasyui.com/；会了easyui开发，上手html5界面开发也非常的快，大多类似的，到h

2014-10-09 22:43:14 24823 9

原创 etl工具，kettle实现循环

业务模型：在关系型数据库中有张很大的表，被设计成奇偶库存储，每个库100张一模一样的表，每张表存储1000W，字段切换到下一个表。现需要同步这个数据到hive中（hdfs），循环抽取这些数据。如果是抽取增量的带上增量字段（每天增量数据存储在哪个表，奇数库还是偶数库是不知道的）。

2014-10-01 08:13:16 21682 4

原创 lunix shell 基础常用整理

1 ps -ef 显示正在运行的进程，pid 等信息 UID PID PPID C STIME TTY TIME CMDroot 1 0 0 03:45 ? 00:00:02 init [5]root 2 1 0 03:45 ? 00:00:00 [migration/0]root 3 1 0 03:45 ? 00:00:00 [ksoftirqd/0]ro

2014-08-31 22:43:24 1798

原创 hadoop2.2 新增数据节点

HostnameIPHadoop版本Hadoop功能系统hadoop2192.168.119.1312.2.0namenodejdk1.6+hadoopcentos5.9 h2slave1192.168.119

2014-08-17 14:04:53 1875

原创 vmware 克隆新机器

选择li72 点击右键------管理-----克隆完成，开启系统，用户名root 密码和以前系统一样可以通过passwd 修改密码Ip也和以前的一样需要修改ip 主要修改以下文件 1 vi /etc/sysconfig/network-scripts/ifcfg-eth0

2014-08-17 10:57:10 1022

原创 mahou 安装实例

1 下载mahout http://mirrors.hust.edu.cn/apache/mahout/0.9/ 2 选择安装到130 机复制到 130机的 /home/bigdata/中解压 tar -zxvf mahout-distribution-0.9.tar.gz 改名 mv mahout-distribution-0.9.tar.gz mahout 3 设置环境变量 vi /etc/profile MAHOUT_HOME=/home/bodat

2014-08-02 21:56:14 1023

原创 storm0.9.1 集群环境安装配置

Storm安装配置三台机器 131,132,133需要安装 jdk，python,autoconf-2.64,zeromq-3.2.2,jzmq安装jdk和python不详细说。 1 安装 autoconf-2.64, 1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648

2014-07-02 23:00:20 2969

原创 Spark1.0.0 分布式环境搭建

软件版本如下：HostnameIPHadoop版本Hadoop功能系统master192.168.119.1281.1.2namenodejdk1.6+hadoop+scala2.9.3+spark1.0.0centos4.9

2014-06-22 11:22:21 3835 1

原创 db2 基础知识整理

目录一安装数据库服务（环境要求） 1.1 创建实例db2icrt set db2intance=db2（设置当前实例） 1.2 删除实例db2idrop 1.3 更新实例db2iupdt instance_name 1.4 查看实例 db2ilistselect * from sysibm.sysversions 查看db2版本二

2014-05-17 19:50:28 8354

原创 hive ，sqoop使用的jdbc驱动版本（mysql-connector-java-5.1.23-bin.jar）影响hive使用

2014-04-01 04:16:57,190 ERROR DataNucleus.Plugin (Log4JLogger.java:error(115)) - Bundle "org.eclipse.jdt.core" requires "org.eclipse.core.resources" but it cannot be resolved.2014-04-01 04:16:57,190

2014-05-17 19:47:06 7274

原创 hadoop example

package com.li72.hadoop;import java.io.File;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import

2014-04-22 21:48:09 1377

转载银行大数据

随着银行业务的载体与社交媒体、电子商务的融合越来越紧密，仅对原有15%的结构化数据进行分析已经不能满足发展的需求。企业需要借助大数据战略打破数据边界，囊括85%的大数据分析，来构建更为全面的企业运营全景视图。以科技引领业务发展，未来银行也同样需要借助由大数据构建的企业经营全景视图来进行风险管理、产品营销、业务创新等活动，进而寻找最优的模式支持商业决策。下文阐述了大数据在银行业应用的几个场景。

2013-12-02 22:54:24 8639

原创 hive设置mysql元数据编码问题

文章来自：http://blog.csdn.net/lili72Mysql默认安装，建表时出现如下异常。FAILED: Error in metadata: javax.jdo.JDODataStoreException: An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 767 bytes com.mysql.jdbc.exceptio

2013-08-31 11:07:09 4298

转载生活与思考

心理导读：这是一个清华差生的十年奋斗史。当年大学毕业，他们系里三分之一出国了；三分之一推研了；剩下最差的三分之一，入社会找工作。他就是那最差的三分之一。而今当他回顾这漫长的十年，发现不管机遇怎样，成功的人都有共同的特点——他们对于成功的渴望，好像饿狼对于肉食的觊觎，他们随时肌肉绷紧永不懈怠，一旦时机成熟，一口就把肉吞下去。33我的故事里有三个人：我自己、我大学同宿舍的哥们、我第一个

2013-08-31 11:05:48 1024

转载 Could not open the editor: Invalid thread access

Myeclipse安装了SVN插件之后突然打开什么东西都报错了：Could not open the editor: Invalid thread access解决方法是：1. cmd2. cd 进入你的Myeclipse安装目录： E:\MyEclipse8.5>3.执行命令 -clean 比如：我的安装目录下是Myeclipse.exe则

2013-07-09 22:25:31 2775

转载 java泛型总结

Java中关于泛型的总结一、Java泛型的实现方法：类型擦除前面已经说了，Java的泛型是伪泛型。为什么说Java的泛型是伪泛型呢？因为，在编译期间，所有的泛型信息都会被擦除掉。正确理解泛型概念的首要前提是理解类型擦出（type erasure）。Java中的泛型基本上都是在编译器这个层次来实现的。在生成的Java字节码中是不包含泛型中的类型信息的。使用泛型的时候加

2013-04-02 19:33:26 1077

原创 java web知识整理，对比。

Servlet jsp类装载及实例创建阶段、实例初始化阶段、服务阶段以及实例销毁阶段。 1、运行速度上比CGI快，因为使用了多线程2、servlet使用了标准的api，可被许多web服务支持3、与系统无关性，一次编译多次使用　1，初始化阶段调用init()方法　　2，响应客户请求阶段　　调用service()方法　　3，终止阶段　　调用d

2013-03-17 12:06:04 1880

原创 maven hibernate的pom文件

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 4.0.0 com.li72.user user-core 0.0.1-SNAPSHOT war user-core http://maven

2013-02-02 09:23:11 3041

原创递归显示无限级导航菜单

菜单的实体 package com.fenjin.bank.model;import java.util.HashSet;import java.util.Set;/** * Menu entity. @author MyEclipse Persistence Tools */public class Menu implements ja

2012-09-20 13:22:53 1133

原创 eclipse 配置maven 项目

1 检查eclipse 是否已经有maven插件： windows-----preferences--- 输入maven 如果有表明已经安装了。否则没有安装。搜索安装m2eclipse插件安装 2 我的eclipse4.3.0 已经有了，在此不在描述安装插件过程。 3 设置eclipse关联自己安装的maven Apply 点击ok

2012-07-08 17:42:04 994

原创 hadoop 环境准备

1 上传JDK文件jdk-6u45-linux-i586.bin 到/home/bigdata/ 1.1 赋权 chmod +x jdk-6u45-linux-i586.bin 1.2 解压 ./ jdk-6u45-linux-i586.bin 1.3 配置环境变量 vi /etc/profile 增加到文件

2012-07-08 17:41:09 836

原创斗地主发牌核心代码

Card类 publicclass Card { //点数 publicstaticfinalintTHREE = 0; publicstaticfinalintFOUR = 1; publicstaticfinalintFIVE = 2; publicstat

2012-07-08 17:39:31 1169

原创 Memcached安装与使用

Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。

2012-07-08 17:36:53 966

原创 java 发送邮件的4种方式

第一步：建立一个java项目第二步：引入mail.jar包由简单到复杂，第一种邮件发送的形式package com.li72.email;import java.util.Properties;import javax.mail.Address;import javax.mail.Message;import javax.mail.Session;impor

2012-04-23 20:16:53 12490

原创 5分钟利用 Myeclipse8.6 快速搭建ssh（JPA）开发环境并自动生成dao ，model

第一步创建一个数据库school 再建立几张表第二步创建一个web项目 sshExample第三步加Myeclipse对struts2的支持点击项目右键---->Myeclipse ----->add struts capabilities 选择红色的finish选择好next 选择struts2 对spring的支持 fin

2012-04-19 22:27:29 7242 3

原创 java 版获取css中的图片 httpClient4.1.3 下载

要下载源代码java 版获取css中的图片 httpClient4.1.3 下载先看运行效果这是选择文件，可以选择css和js 选择文件存放的路径分析css中图片的url 填写网站的主路径很重要，下载图片就根据这个url和css中的url结合起来这样就可以下载成功了。部分关键代码public static

2012-04-16 17:11:59 3059