牛_plus_plus-CSDN博客

原创 HBase中Bytes.compare从90到92的变化

上一篇文章中有介绍，写入压测时HBase 30%的CPU消耗在Bytes.compare()方法上。参：http://blog.csdn.net/kalaamong/article/details/7324894写入吞吐量大约在17W每秒，当时我们使用的HBase为90.4。然后对于Bytes.compare()方法，90.4中如下：public static int compar

2012-04-06 11:33:04 3006

原创 HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用

首先续上篇测试：经过上一篇文章中对代码及参数的修改，HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不开Hlog）。上篇测试内容：详情　http://blog.csdn.net/kalaamong/article/details/72

2012-03-06 15:05:45 11480 4

原创 HBase写入性能及改造——multi-thread flush and compaction(续：详细测试数据)

接上文啊：测试机性能CPU16* Intel(R) Xeon(R) CPU E5620 @ 2.40GHzMEMORY48GBDISK12*SATA 2TBNET 4*1Gb Ethernet测试数据:类型国内某视频网站近半年用户访问日志结构

2012-02-24 12:30:57 9934 2

原创 HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量，带压缩测试)

首先描述一下现象最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。在出测试报告时发现老问题，HBase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要row size稍小一点，不管你怎么压，HBase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了？还有些人怀疑是不是GC拖累了？总之网上大部分测试都是黑盒测试嘛，大家也就乱猜呗。下面我仔

2012-02-20 11:33:54 16662 4

原创 HDFS开LZO on redhat/el4/en/x86_64/

su rootwget ftp://ftp.univie.ac.at/systems/linux/dag/redhat/el4/en/x86_64/dag/RPMS/lzo-2.04-1.el4.rf.x86_64.rpmwget ftp://ftp.univie.ac.at/systems/linux/dag/redhat/el4/en/x86_64/dag/RPMS/lzo-devel-2

2012-02-20 11:17:17 4136

原创 linux cpp 使用thrift 访问HBase

1.linux 下安装thrift2.找到Hbase.thrift文件，在HBase src下。目前可以用我放在这个目录下的。3.thrift --gen Hbase.thrift //按服务定义文件生成client stub。gen-cpp4.gcc -Wall -I /usr/local/include/thrift -c *.cpp -o *.o // 将gen-cpp

2012-02-20 11:16:33 3645

原创【CSDN程序员2014二月刊】HBase在内容推荐引擎系统中的应用

本文介绍了HBase于“搜狐新文客户端”推荐系统中的应用，支撑了客户端推荐系统所有线上推荐逻辑。

2014-03-12 10:45:39 3249

转载 How to compile OpenJDK on Ubuntu

2012-03-01 19:48:31 2443

转载 Optimizing JNI array access

From :http://elliotth.blogspot.com/2007/03/optimizing-jni-array-access.htmlIt's a popular misconception amongst people who don't write Java that JNI is used for performance. The main use of JNI in

2012-03-01 15:01:14 2296

转载格兰杰检验协整检验误差修正模型相关

格兰杰检验协整检验误差修正模型相关转自博客 http://blog.sina.com.cn/s/blog_3fa1d4300100mroy.html个人觉得正确的顺序是：先对单变量进行单位根的DF或ADF检验，后者更佳；然后根据各变量的单整阶数进行如下操作：1、若各变量是平稳的，可直接进行Granger因果检验；2、若各变量是同阶单整的，进行

2012-02-24 15:22:44 16418 1

原创回北京了

结束三月的杭州之行回北京了，做的事情各方面都满意，淘宝数据魔方的查询时间从七天被我们延长到一个月，工期从三个月缩减到一个月，运维那块也帮他们做了数据隔离，淘宝数据平台也从到处推销HBase，变成有大把人屁股后面追着要用HBase了。大家都很happy，我也很happy吧。至少到杭州养胖了。。。老板还帮我申了院三好，so nice。

2012-02-20 11:15:55 2614

原创三个月TBDATA之行

清明之后要去杭州淘宝数据平台协助改造“数据魔方”，淘宝“数据魔方”可提供分析淘宝平台行业趋势和规模，分析买家行为数据，提供热销榜单，搜索分析，以及帮助店铺分析访客行为等功能，此行有机会接触到大量真实的电子商务用户数据并将自己开发的CCIndex（http://www.hadooper.cn/dct/page/65871 ）转为实用。

2012-02-20 11:15:22 2317

牛_plus_plus的专栏