link200809的专栏

原创 CHAT2DB usage experience

1 : WARN zookeeper.ZKUtil: hconnection Unable to set watcher on znode (/hbase/hbaseid)2 ERROR client.HConnectionManager$HConnectionImplementation: Check the value configured in 'zookeeper.znode.

原创 broadcast vs redistribute

ignore broadcast huge table by redistribute key

转载 EDW DWM CONCEPT

非事实型事实表――factless fact table 在维度建模的数据仓库中，有一种事实表叫Factless Fact Table，中文一般翻译为“非事实型事实表”。在事实表中，通常会保存十个左右的维度外键和多个度量事实，度量事实是事实表的关键所在。在非事实型事实表中没有这些度量事实，只有多个维度外键。非事实型事实表通常用来跟踪一些事件或者说明某些活动的范围。下面举例来进行...

转载 移动硬盘问题修复18中方法

http://www.upantool.com/jiaocheng/disk/10119.html#

转载 msyql reference address for developper

https://dev.mysql.com/doc/refman/5.5/en/

原创 sql left join 3 张表

转载 SQL 数据特殊符号切割

需求SQL 字段中的字符串拆成多行显示.实现:MYSQL SUBSTRING_INDEX(COL1,'字符串分隔符号',位置)SQL: select t2.help_topic_id as ID ,SUBSTRING_INDEX(SUBSTRING_INDEX(RecordIdentifier,' ',t2.help_topic_id+1),' ',-1) as RecordIdent...

转载 查看Linux iso 文件内容

ISO文件是一种磁盘镜像文件，Linux系统里打开ISO文件，实际是挂载ISO文件。有两种方法：一、手工命令方式,首先确认内核加载了loop模块：modprobe loop；创建ISO文件挂载点：mkdir /media/iso；挂载ISO文件：mount your-iso-file.iso /media/iso/ -t iso9660 -o loop二、使用辅助工具挂载ISO文件：Gmoun...

转载 CDH licence



转载 CDH LAB enviroment



转载 sas table data formate output

proc sql noprint;select type||"="||case when type_id=6 then put(curr_date, percentn10.2)                       when type_id in (1,2,4) then "RM "||put(curr_date,comma10.)                       else ...

原创 rest-work-eat-study-rest-work-eat or rest-rest-work-work-eat-eat..

words are for your heart.tks for my dear family's

原创 e2fsck

e2fsck

转载 Hive1 HIVE QL

after you have configured jvm,sshd service with no private key authorized and hadoop .you can install the hive a dw tools based on the hadoop platform.It's a little different from the SQL,now let's st

转载 hadoop 学习网站

http://www.superwu.cn

转载 初识STORM 快速入手

http://blog.sina.com.cn/s/blog_546abd9f0101cce8.html

转载 安装Hadoop Eclipse plugin

1. Hadoop版本JDK： sun jdk1.6.0_30Hadoop:  hadoop-0.20.203.0 和 hadoop-1.0.2Linux:  Ubuntu 11.10Eclipse:  Eclipse Indigo 3.6.2 （也有3.7.1）2. 编译hadoop-0.20.203.0 和 hadoop-1.0.2，过程见上一篇博客3. 编译出来的pl

转载 初见HBASE很不顺畅,看来是学习方法不对,重新从网上摘录一段儿,

hbase伪分布式安装详解及错误分析        分类：            HADOOP和HIVE2012-05-16 14:351131人阅读评论(0)收藏举报hbasehadoophtmlshellcentosjdk安装环境：centos6.0+jdk1.6.0_29+hadoop1.0.0+hbase0.90.4已经安装好centos6.0+jdk1.6.0_29+

转载 ssh localhost 无密钥配置(root & !root)

1. 确认系统已经安装好OpenSSH的server 和client　　安装步骤这里不再讲述，不是本文的重点。　　2. 确认本机sshd的配置文件（需要root权限）　　$ vi /etc/ssh/sshd_config　　找到以下内容，并去掉注释符”#“　　RSAAuthentication yes　　PubkeyAuthentication yes　　Authori

转载 hadoop getfile exercise

#!/bin/sh#Hostname Prefix localPath="/work/tda/yunion/unionfactfile"hadoopPath="/workspace/tda/yunion/thive"hadoop="/opt/hadoop-1.0.3/bin/hadoop"hive="/opt/hadoop-1.0.3/hive/bin/hive"#格式化日

转载 mysql到redis的复制

mysql到redis的复制mysqludfredisjson 系统开发中时常会需要缓存来提升并发读的能力，这时可以通过mysql的UDF和hiredis来进行同步 前题：安装了mysql5.5和client 1、安装mysql2redis Shell代码  git clone https://github.com/jackeyl

原创 lesson 2 hbase install on hadoop

hbase install on hadoop

原创 数据仓库的难点和痛点

想想自己也接触过5个以上的数据仓库项目了,现在想起来没有一个数据仓库项目得到了客户的肯定,大部分的仓库项目也就是达到了给客户提取提取报表数据的要求,可是做为一直从事数据仓库后台项目的人员,不免还是对怎么实施一个数据仓库项目感到还是没有一个不错的方案.  现在想想之前做过的数据仓库项目,想想后台最让人头疼的问题不是调度问题,而是没有一个人能说清楚到底牧歌指标的具体口径是什么,之前为了应对数据指标

原创 第二次参加部门年会

今天是一个特殊的日子,是我加入公司后第二次参加部门年会。  怎么总结2013公司的变化呢?我想到了一个词"卡位".  2013大家都卡完位置了,而我依然还在原地踏步.更为糟糕的是我和老板闹的有点儿僵了,估计以后的希望是没有了. 2013 让我知道了什么是爱,原来爱也是有很多种的,眼里只有一个人的是一种爱,为公司鞠躬尽瘁的也是一种爱. 2013 也让我感到了什么叫做自卑,什么叫做我是

转载 第6周 Map-Reduce编程实战，eclipse与Hadoop集群连接

http://www.dataguru.cn/article-1574-1.html

转载 centos6.x 和centos5.x nfs 服务配置

在Centos6下必须先启动rpcbind，而不是portmap：（这个要紧记啊）service   rpcbind  start  再安装启动NFS成功！ 1、是否安装了NFS和portmap RPM包[root@ha01 /]# rpm -qa | grep nfsnfs-utils-1.0.9-44.el5nfs-utils-lib-1.0.8-7.6.el5[root@

转载 快速假设自己本地iso文件的yum库

附：建立本地yum源的步骤： 1、将带有软件包和相应repodata索引的iso镜像挂载在某目录下（我是放在/mnt下）mount/root/CentOS-6.0-x86_64-bin-DVD2.iso /mnt -o loop 2、在/etc/yum.repos.d/下建立自己的配置文件（例如software.repo），必须用.repo结尾，内容为： [soft

转载 /usr/lib64/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_l

重新编译curl 安装后 yum 报错/usr/lib64/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_locking_callback系统环境：CentOS release 6.2 (Final)2.6.32-220.13.1.el6.x86_64 #1 SMP Tue Apr 17 23:56:

原创 not to be a poor man,hadoop i'am comming

This moment will nap,you will have a dream,But this moment study,you will  interpret a dream.I leave uncultivatd today,was precisely yesterday perishes tommrrow which person if the body implored.T

转载 转hadoop 学习路线

主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。从2011年开始，中国进入大数据风

原创 如果你的口才不好就请坚持写日记

if  your spoken language is not to good enough,plesae stay on writing a diary,it's not for others,it's for you.  如果你的口语不是很好,请坚持每天写日记,不是给别人看,而是写下你的所思所想.  I find that when I am talking with somebody

转载 shell 管道通信(UE 删空行%[ ^t]++^p)

文将介绍在SCO OpenServer5.0.5系统中使用shell语言来实现进程间信息交换的几种方法：　使用命名管道实现进程间信息交换　使用kill命令和trap语句实现进程间信息交换　使用点命令“.”实现进程间信息交换　使用export语句实现父进程对子进程的信息传递　一、使用命名管道命名管道是一种先进先出（FIFO）的数据结构，它允许两个进程通过管道联接实现信息交换。

原创 smallbin double linked list corrupted

[20131210205216] G1002 Ftp Waitting..*** glibc detected *** /home/gdsbi/aiinsight/aitools/bin/tclsh: malloc(): smallbin double linked list corrupted: 0x0000000001824980 ***======= Backtrace: =====

转载 linux so 文件创建

http://linux.chinaitlab.com/administer/803560.html

转载 shell 字符串截取

echo '${str%/*}'="${str%/*}"${str%/*}=Hello,my weibo is http://blog.sina.com.cn/ifiamjoy. //today is 2012/12说明：%号截取，删除右边，保留左边。%/*表示从右边开始，删除第一个/号及其右边的字符。                

原创 tcl 报错

[20131125221254] G1002 Load Waitting..*** glibc detected *** /home/gdsbi/aiinsight/aitools/bin/tclsh: double free or corruption (!prev): 0x00000000113a0d10 ***======= Backtrace: =========/lib64/

原创 半夜冒冷汗

这几天半夜还是会突然惊醒,想想自己马上就是奔三的人了,现在是要啥没啥,不免心中惊慌的醒了. 然后有时候甚至是脑袋一片空白到天亮.  有时候我一直在想，自己以后有没有希望进到互联网行业呢,百度腾讯阿里这些公司有希望自己进去吗?有人会问干嘛非得去这些公司,如果是在北京的话就知道做IT的如果不在这类企业走走,毕竟你会留下遗憾的.说真的现在公司的这个样子,我真觉得愧对国内行业老大的称号,而我现在的状态

转载 linux awk 的用法

linux之awk用法　　awk是一个非常棒的数字处理工具。相比于sed常常作用于一整行的处理，awk则比较倾向于将一行分为数个“字段”来处理。运行效率高，而且代码简单，对格式化的文本处理能力超强。先来一个例子：　　文件a，统计文件a的第一列中是浮点数的行的浮点数的平均值。用awk来实现只需要一句话就可以搞定$cat a1.021 331#.ll   44

原创 error while loading shared libraries: libfreebl3.so: wrong ELF class: ELFCLASS64

我也出现过这个问题，在出问题的机器上重新编译就OK了！主要原因是两个GCC版本不一样，一个高版本的GCC编译后在低版本的c库下就会出现这个问题！貌似不编译不行，我也很纠结！

原创 scp 库文件不小心整错目录导致ssh telnet 服务不可用了

[root@GDSBI ~]# scp /usr/lib64/libfreebl3.so [email protected]:/usr/lib/ssh_exchange_identification: Connection closed by remote hostlost connection[root@GDSBI ~]# scp /usr/lib64/libfreebl3.so