10 caodaoxi

尚未进行身份认证

暂无相关简介

等级
TA的排名 2w+

storm on yarn 如何支持 storm 0.9.2

stormonyarn的git地址:https://github.com/yahoo/storm-yarn.git

2014-10-29 17:11:43

flume监控指标详解

2014-05-15 17:39:32

mesos

sudoapt-getinstalllibcurl3libcurl3-gnutlslibcurl4-openssl-devsudoapt-getinstallg++python-dev libcppunit-devlibcppunit-doc

2014-05-10 09:51:30

使用oozie遇到的问题

1. Mainclass[org.apMainclass[org.apache.oozie.action.hadoop.HiveMain],exitcode[9]

2014-04-07 21:44:57

oozie Cookbook

ThisdocumentcomprehensivelydescribestheprocedureofrunningaMapReducejobusingOozie.Itstargetedaudienceisallformsofuserswhowillinstall,useandoperateOozie.NOTE:Thistutorial

2014-03-23 11:36:53

storm-kafka-plus源码阅读

ZkState.java主要是维护了与zookeeper之间的连接,以及如果对zk节点数据进行序列化和反序列化.DynamicBrokersReader.java维护了有一个与zk之间的连接,维护了topic,zkroot.获取分区信息. getBrokerInfo获取分区与partitionleader的之间关系.返回类型为GlobalPartitionInformation

2014-03-05 23:57:01

storm异常

★yaml跟我们一般用的属性配置文件有所不同,它的要求更严格一些,因此在往conf/storm.yaml中添加配置的时候必须注意.比如必须注意开始位置和冒号后面的空格,否则配置不会生效.关于yaml相关的资料,网上有很多资料可以参考如何检查配置是否生效,可以使用命令:stormlocalconfvalue配置关键字但是这个命令只能在nimbus上生效,在supervi...

2014-01-26 16:33:13

Hadoop和HBase集群的JMX监控

说到对Hadoop和HBase的集群监控,大家知道的和用的最多的可能还是第三方的监控工具,cacti,ganglia,zabbix之类的。玩的深一些的,会用zenoss之类的。这些工具确实不错,也能发挥很大的作用,但时间长了总感觉监控粒度还是比较粗,不够详细。毕竟是第三方的监控,即便Hadoop自带了ganglia的接口,也还是觉得不够。其实Hadoop本身是带有监控接口的,各公司的发

2014-01-03 15:05:54

zabbix的入门到精通之zabbix的触发器Trigger

第1章 Trigger1.1 创建一个trigger选择:ConfigurationàHost双击:Trigger双击:CreateTrigger(位置在右上角)后图下图所示 NameTrigger的名字Expression添加Trigger表达式,双击add后添加

2014-01-01 23:05:29

RDD

RDD是什么东西?在Spark中有什么作用?如何使用? 1、RDD是什么(1)为什么会产生RDD?传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点,但是其最大缺点是采用非循环式的数据流模型,使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法 (2)RDD的具体描述RDD(弹性数据集)是Spark提供的最重要的抽象的概念,它是一种有容

2014-01-01 22:50:56

Can't find libcurl or curl/curl.h (RuntimeError)

sudoapt-getinstalllibcurl3libcurl3-gnutlslibcurl4-openssl-dev

2013-12-31 00:27:37

flume ng编译问题解决

在编译flumeng的时候出现不能找到flume-ng-log4jappender的问题:[ERROR]Failedtoexecutegoalorg.apache.maven.plugins:maven-remote-resources-plugin:1.1:process(default)onprojectflume-ng-dist:Failedtoresolve

2013-11-25 10:41:32

hadoop lzo

1.安装LZOsudoapt-getinstallliblzo2-dev或者下载lzo2[http://www.oberhumer.com/opensource/lzo/download/].wget[http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz]./configure\--en...

2013-10-28 18:34:04

YARN/MRv2 Node Manager深入剖析—节点健康状况检测

概述节点健康状况检测是YARN为每个NodeManager提供的机制,通过该机制,NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager,而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManager认为自己的健康状况“欠佳”时,可让ResourceManager不再分配任务,待健康状况好转时,再

2013-10-23 15:13:49

YARN/MRv2 Node Manager深入剖析—节点健康状况检测

概述节点健康状况检测是YARN为每个NodeManager提供的机制,通过该机制,NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager,而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManager认为自己的健康状况“欠佳”时,可让ResourceManager不再分配任务,待健康状况好转时,再...

2013-10-23 15:13:00

YARN/MRv2 Resource Manager深入剖析—AM管理

ApplictionMaster管理部分主要由三个服务构成,分别是AMLivelinessMonitor、ApplicationMasterLauncher和ApplicationMasterService,它们共同管理ApplicationMaster的生存周期,接下来我们依次介绍这三个服务。AMLivelinessMonitor该服务周期性遍历所有ApplicationMaster

2013-10-23 15:12:53

YARN/MRv2 Resource Manager深入剖析—服务与事件处理器

ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。(1)RM中的服务YARN采用了服务模型,它将各种对象服务化,以便于统一管理(统一启动、关闭等)。YARN中将服务分为两

2013-10-23 15:09:45

YARN/MRv2 Resource Manager深入剖析—服务与事件处理器

ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。(1)RM中的服务YARN采用了服务模型,它将各种对象服务化,以便于统一管理(统一启动、关闭等)。YARN中将服务分为两...

2013-10-23 15:09:00

YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析

YARN分别针对普通用户,管理员和Web提供了三种对外服务,分别对应ClientRMService、AdminService和WebApp,本节将对这三个服务分别进行详细介绍。1.    ClientRMServiceClientRMService是为普通用户提供的服务,它会处理来自客户端各种RPC请求,比如提交应用程序、终止应用程序,获取应用程序运行状态等。ClientRMServic

2013-10-23 15:08:45

YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析

YARN分别针对普通用户,管理员和Web提供了三种对外服务,分别对应ClientRMService、AdminService和WebApp,本节将对这三个服务分别进行详细介绍。1.ClientRMServiceClientRMService是为普通用户提供的服务,它会处理来自客户端各种RPC请求,比如提交应用程序、终止应用程序,获取应用程序运行状态等。ClientRMService实现了...

2013-10-23 15:08:00

查看更多

勋章 我的勋章
    暂无奖章