真诚的程序员-CSDN博客

原创 redis客户端的几个问题总结

redis批量数据导入 C语言客户端

2016-09-23 12:40:20 2098

原创 Scala Eclipse代码出现下划线的问题解决

Eclipse scala implicit

2016-04-29 15:01:14 6042

原创在Windows下用Eclipse开发和运行Spark程序

我们想现在windows环境下开发调试好spark程序，然后打包，最后放到linux spark集群环境去运行。

2016-04-28 09:53:30 5143 1

原创 Spark集群安装

Spark三种集群Spark支持Standalone、Hadoop Yarn、Mesos三种集群方式。下面我只介绍Standalone的安装。Standalone集群的安装设置好集群机器的主机名以及/etc/hosts文件安装好JDK1.7或者以上，导出JAVA_HOME，以及PATH环境变量。具体的可以参考Storm集群的安装。进行ssh的无密码登录执行ssh-keygen -t rsa产生

2016-01-14 14:49:35 567

原创 Zookeeper集群安装

请先安装好JDK1.6或者更高版本，导出JAVA_HOME以及PATH到zookeeper网管下载稳定版本3.4.6，将压缩包解压到当前目录：tar -xzf zookeeper-3.4.6.tar.gz，并将解压目录改名：mv zookeeper-3.4.6 zk修改~/.profile，如下：并执行source ~/.profile，使得环境变量生效导出环境变量：export ZK_HO

2016-01-14 11:37:10 1067

转载大数据盘点之Spark篇

一直没有找到此篇文章的真正出处，不知道到底是否允许全篇转载，暂时引用http://h2ex.com/634的文章谭政，Hulu 网大数据基础平台研发。曾在新浪微博平台工作过。专注于大数据存储和处理，对 Hadoop、HBase 以及 Spark 等等均有深入的了解。Spark 最新的特性以及功能2015 年中 Spark 版本从 1.2.1 升级到当前最新的 1

2016-01-11 15:10:16 1968

转载解读2015之大数据篇：大数据的黄金时代

http://www.infoq.com/cn/articles/2015-Review-Bigdata?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

2016-01-08 17:49:01 471

转载大数据教父Michael Stonebraker告诉你大数据的秘密

本文真是干货，从三个方面对大数据面临的问题给出了分析，并提出了对应的解决方案。Big Volume：采用Column Store和Array StoreBig Velocity：采用Stream和New SqlBig Variety：采用data curation system转载自：http://blog.sina.com.cn/s/blog_4caedc7a0102w4

2016-01-08 15:46:13 841

转载解读2015之Spark篇：新生态系统的形成

Spark发展太快了，生态系统庞大，作为2016年主要的学习对象http://www.infoq.com/cn/articles/2015-Review-Spark?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

2016-01-07 14:46:37 426

缘起：为了研究Storm的源码，没办法只有先学习一下Clojure。虽然现在有淘宝出的JStorm，将Clojure全部用Java重写了，但是看一下Storm原作者写的代码应该更能体现Storm的根本思想。其实多学习一本语言也是极好的，更何况这又是一门Lisp方言 1. 先到Leiningen的Github页面：https://github.com/technomancy/leiningen，这里

2016-01-06 11:16:44 3274

转载 D语言架构师Andrei Alexandrescu谈D、Go、Rust取代C/C++

http://www.csdn.net/article/2015-12-20/2826517?utm_source=tuicool&utm_medium=referral

2015-12-24 16:20:40 1214

转载 Hadoop生态系统全表

https://hadoopecosystemtable.github.io/分门别类，有简介，有文档链接

2015-12-23 10:02:17 531

原创 Storm DRPC

DRPC简介DRPC是为了实现并发的RPC架构而实现的，其中D就是Distributed，利用Storm分布式、并发的能力，实现RPC的高性能。DRPC架构DRPC的架构如图：客户端：用来发起DRPC的调用DRPC Server：实现与客户端的对接，传递参数给Storm，返回结果给客户端。DPRCSpout：用于连接DRPC Server和Topology，传递参数给Topology。To

2015-12-22 16:34:00 2623

转载用十条命令在一分钟内检查Linux服务器性能

http://www.infoq.com/cn/news/2015/12/linux-performance

2015-12-22 15:50:08 567

原创 Storm Trident API总结-2

Storm Trident, Trident State, Trident API

2015-12-21 16:52:57 1073

转载程序员困境

程序员困境转载者自述：我对作者描述的这种困境深有感触，希望那些在大公司做着大项目的程序员们能看到这篇文章，如果你们还在用着那些公司牛人写的框架，每天都在写着，不，是copy、paste着代码，那么你就要好好想想了。原创文章，作者：董老师，如若转载，请注明出处：http://36kr.com/p/5040630.html董老师 • 14 小时前来源: M

2015-12-17 10:25:37 738 1

原创 Storm Trident API总结-1

Storm Trident API的介绍

2015-12-16 18:30:29 4253 2

转载马克·扎克伯格今年读过的 21 本书

【盘点】马克·扎克伯格今年读过的 21 本书原文出自：http://36kr.com/p/5041010.html杨志芳 • 2015/12/15 10:172015 年新年伊始，马克·扎克伯格在 Facebook 主页郑重地写下了新年计划。“2015年，我的挑战是每两周读一本新书——着重于学习不同文化、信仰、历史和科技。”为此，扎克伯克还专门建立了一个名为 “读书

2015-12-16 10:54:44 1220

原创《Getting Real》书摘

比竞争对手做得少，做得多是冷战思维。更少的功能更少的选择项更少的会议更少的人员更少的承诺产品应该首先来自于解决自己遇到的问题，这样你才能有激情和想法完成。在自己的能力范围内设计，完成产品，更少的资金意味着缩小规模，减少功能。弄清楚产品要做成什么样，有时候最好是搞清楚不要做成什么样

2015-12-14 11:37:03 501

原创 Storm的事务总结

我们利用前面所说的Storm可靠性机制，可以很容易的提供至少一次的处理(at least once processing)：也就是在一个tuple超时或者fail的时候，Storm会调用Spout的fail函数，在这里，我们可以实现一个重发tuple的机制，当然，这种重发一般都建立在消息队列中间件的重发功能上的。我们考虑一种计数Count场景，看简单的重发机制有什么问题。假如这个Topology一

2015-12-11 17:01:30 4586

原创 Storm可靠性总结

本文主要参考了Storm的可靠性文档Storm的可靠性是通过一个叫做Acker的模块来实现的，它会跟踪Spout、Bolt发送tuple时所形成的tuple树，看tuple树是成功处理（tuple叶子是否被都被处理）还是失败（只要一个tuple叶子失败了）了。除了Acker要跟踪tuple树的处理状态外，当然还需要Spout和Bolt来配合，才能达到Storm的可靠性。那么如何来配合呢?针对S

2015-12-11 10:32:54 1593

原创 Storm资源列表

1、Storm官网2、JStorm github地址，阿里开源的Storm改进版本，里面有关于JStorm的中文文档3、徐明明的博客，里面有官网文档的翻译以及文章4、百度网盘里面有很多关于Storm的教学视频，建议看炼数成金的视频，相对于其他的视频要好一些5、storm书籍，这些书籍应该都在百度网盘上能找到：《Learning Storm》《Storm Blueprints: Pa

2015-12-10 17:07:05 538

原创基于Eclipse的Storm应用开发

1、基于Maven的开发2、基于非Maven的开发

2015-12-10 11:00:33 2772

原创 memcached的安装以及SpyMemcached的使用

memcached的安装和使用

2015-12-01 11:32:47 3495

原创 Storm和Kafka的集成安装和测试

1、先保证Storm集群已经安装Storm集群的安装可以参考文章：Storm集群的安装，Kafka的安装和测试也可以参考apache kafka官网上的Quick Start2、安装Kafka集群：2.1 下载Kafka包，我们这里选择kafka_2.9.2-0.8.1.tgz版本进行安装，解压到安装目录：tar -xzf kafka_2.9.2-0.8.1.tgz

2015-11-27 16:00:06 3444

原创 storm-starter的运行

1、下载storm-starter，可以到https://github.com/nathanmarz/storm-starter去下载zip包，也可以通过git命令去clone：git clone https://github.com/nathanmarz/storm-starter.git2、由于start-starter是基于maven作为项目构建工具的，我们还要安装maven：

2015-11-25 12:22:08 4792

原创 Storm集群的安装

到Storm的官方网站Document下的Setup and deploying栏目下的Setting up a Storm Cluster安装Storm分为如下5个步骤：1、安装zookeeper集群2、在Nimbus和Supervisor机器上安装JAVA SDK 6和python2.6.63、安装Storm包，解压到Nimbus和Supervisor机器4、配置Sto

2015-11-24 17:04:04 4987

翻译开放关闭原则【The Open Closed Principle】

In 1988 Bertrand Meyer defined one of the most important principles of software engineering. The Open Closed Principle (OCP). In his book Object Oriented Software Construction[1] he said:A satis

2014-06-23 22:44:53 1218

翻译敏捷的真正腐败【The True Corruption of Agile】

第一次翻译

2014-06-08 22:52:32 1009

原创程序员如何有效交流？

本来

2014-06-04 23:49:32 1279

原创我的敏捷观

早在2009年，wo

2014-06-03 23:00:10 821

原创真诚的程序员

2007年我从学校毕业来到了我的第一家公司，我除了一些编码工作以外，我做得最多的就是晚上加班补各种文档：详细设计文档、单元测试文档，当然我也看到了比我早来一个月的同事也在做概要设计文档。在那个时候，我当然不知道为什么要做这些，以为这就是任务，和小学时候老师布置的作文一样，大部分都是凭空想象。后来我知道了，这些文档是用来过点的，当然不管你写的是什么，只要它的名字是xxx详细设计文档、yyy单元测试文

2014-03-31 22:16:23 600

真诚的程序员

原创数据抓取必须学会的三种技术