桂子---CSDN博客

原创 sparkstream-kafka

最近想弄一个sparkstream的实时监控，spark(1.2.0-cdh5.3.0)对接kafka。使用wordcount的例子如下：1.按照kafka官网quick start教程将kafka跑起来:http://kafka.apache.org/2.用eclipse 随意构建一个maven工程,在pom.xml中添加如下：

2015-05-14 18:33:02 985

原创环境搭建（五）　错误笔记

hadoop-oozie配合使用有各种蛋疼问题，大多跟配置有关，部分记录如下：１.hadoop-2.5.0-cdh5.3.0 ＝》ｏｏｚｉｅ4.4.0-cdh5.3.0　oozie对ｈａｄｏｏｐ的身份认证问题　User: xxx is not allowed to impersonate xxx　　$HADOOP_HOME/etc/hadoop/core-site.xml中进行设置,我

2015-04-27 13:11:17 677

原创走进spark（二） rdd.persist

走进spark（二） rdd.persisit上篇我们讲到通过调用rdd.checkpoint,可以将rdd存储在磁盘，除此之外rdd还有一个有意思的持久化方法rdd.persist,代码如下：defpersist(newLevel: StorageLevel):this.type= { // TODO:Handle changes of StorageLevel if

2015-04-20 18:00:08 1643

原创走进spark（一） rdd.checkpoint

RDD无疑是spark框架中的核心概念之一，RDD是什么？概念太抽象,不如看看RDD有什么用。本篇主要介绍rdd的容错机制之一checkpoint，就是将RDD写入disk进行做检查点。大致浏览论文 ,RDD上的操作分为两种：transformation和 action.(1) Transformation =>从一个\多个rdd生成另一个rddFilter,map,sam

2015-04-17 13:37:02 1436

原创环境搭建（四）oozie3.3.2（ubuntu10.0.4）

.环境搭建(5)oozie3.3.2转至元数据结尾Created and last modified by 刘桂林 on 三月 11, 2015转至元数据起始考虑到hadoop-spark-oozie体系的稳定性，这里配置oozie3.3.2Step-by-step guide准备工作安装mysql

2015-04-16 14:55:14 490

原创环境搭建(三)hive0.12.0(ubuntu10.0.4)

Step-by-step guide在mysql数据库中创建hive用户$ mysql -u root -p > use user; > insert into user(Host,User,Password) values("localhost","hive",password("hive"));下载，配置环境变量$ wget http://archive.apa

2015-04-16 14:53:00 320

原创环境搭建(二)spark1.0.2 (ubuntu10.0.4)

考虑到hadoop，spark框架的稳定性，这里使用spark1.0.2Step-by-step guide 0.安装scalaspark框架使用scala开发下载scala$ wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz$ tar zxvf scala-2.1

2015-04-16 14:49:06 363

原创环境搭建(一)hadoop2.2.0 (ubuntu10.0.4)

目前的开发测试环境中用到map-reduce框架，hive数据库，spark也涉及了hdfs文件系统，因此有必要配置Hadoop环境，考虑到整个框架的稳定性等因素，这里搭建hadoop2.2.0.准备工作:安装了jdk,测试：java -version安装了vim,测试: vim a.txt正式安装:下载　hadoop-2.2.0.x86_64.tar.gz$

2015-04-16 14:45:00 447