- 博客(1026)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 storm on yarn 如何支持 storm 0.9.2
storm on yarn的git地址：https://github.com/yahoo/storm-yarn.git
2014-10-29 17:11:43
1329
原创 mesos
sudo apt-get install libcurl3 libcurl3-gnutls libcurl4-openssl-devsudo apt-get install g++ python-dev libcppunit-dev libcppunit-doc
2014-05-10 09:51:30
777
原创 使用oozie遇到的问题
1. Main class [org.apMain class [org.apache.oozie.action.hadoop.HiveMain], exit code [9]
2014-04-07 21:44:57
698
转载 oozie Cookbook
This document comprehensively describes the procedure of running a MapReduce job using Oozie. Its targeted audience is all forms of users who will install, use and operate Oozie.NOTE: This tutorial
2014-03-23 11:36:53
1009
原创 storm-kafka-plus源码阅读
ZkState.java 主要是维护了与zookeeper之间的连接,以及如果对zk节点数据进行序列化和反序列化.DynamicBrokersReader.java 维护了有一个与zk之间的连接,维护了topic,zkroot.获取分区信息. getBrokerInfo获取分区与partition leader的之间关系.返回类型为GlobalPartitionInformation
2014-03-05 23:57:01
736
原创 storm异常
★ yaml跟我们一般用的属性配置文件有所不同, 它的要求更严格一些, 因此在往conf/storm.yaml中添加配置的时候必须注意. 比如必须注意开始位置和冒号后面的空格, 否则配置不会生效. 关于yaml相关的资料, 网上有很多资料可以参考 如何检查配置是否生效, 可以使用命令: storm localconfvalue 配置关键字 但是这个命令只能在nimbus上生效, 在supervi...
2014-01-26 16:33:13
187
转载 Hadoop和HBase集群的JMX监控
说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带了ganglia的接口，也还是觉得不够。其实Hadoop本身是带有监控接口的，各公司的发
2014-01-03 15:05:54
694
转载 zabbix的入门到精通之zabbix的触发器Trigger
第1章 Trigger1.1 创建一个trigger选择：ConfigurationàHost双击: Trigger双击:Create Trigger(位置在右上角)后图下图所示 NameTrigger的名字Expression添加Trigger表达式，双击add后添加
2014-01-01 23:05:29
1389
转载 RDD
RDD是什么东西？在Spark中有什么作用？如何使用？ 1、RDD是什么（1）为什么会产生RDD？传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法 （2）RDD的具体描述RDD（弹性数据集）是Spark提供的最重要的抽象的概念，它是一种有容
2014-01-01 22:50:56
2885
原创 Can't find libcurl or curl/curl.h (RuntimeError)
sudo apt-get install libcurl3 libcurl3-gnutls libcurl4-openssl-dev
2013-12-31 00:27:37
1552
原创 flume ng编译问题解决
在编译flume ng的时候出现不能找到flume-ng-log4jappender的问题:[ERROR] Failed to execute goal org.apache.maven.plugins:maven-remote-resources-plugin:1.1:process (default) on project flume-ng-dist: Failed to resolve
2013-11-25 10:41:32
1140
原创 hadoop lzo
1.安装LZOsudo apt-get install liblzo2-dev或者下载lzo2[http://www.oberhumer.com/opensource/lzo/download/].wget [http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz]./configure \--en...
2013-10-28 18:34:04
222
转载 YARN/MRv2 Node Manager深入剖析—节点健康状况检测
概述节点健康状况检测是YARN为每个NodeManager提供的机制，通过该机制，NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager，而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManager认为自己的健康状况“欠佳”时，可让ResourceManager不再分配任务，待健康状况好转时，再
2013-10-23 15:13:49
1038
YARN/MRv2 Node Manager深入剖析—节点健康状况检测
概述节点健康状况检测是YARN为每个NodeManager提供的机制，通过该机制，NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager，而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManager认为自己的健康状况“欠佳”时，可让ResourceManager不再分配任务，待健康状况好转时，再...
2013-10-23 15:13:00
265
转载 YARN/MRv2 Resource Manager深入剖析—AM管理
ApplictionMaster管理部分主要由三个服务构成，分别是AMLivelinessMonitor、ApplicationMasterLauncher和ApplicationMasterService，它们共同管理ApplicationMaster的生存周期，接下来我们依次介绍这三个服务。AMLivelinessMonitor该服务周期性遍历所有ApplicationMaster
2013-10-23 15:12:53
686
转载 YARN/MRv2 Resource Manager深入剖析—服务与事件处理器
ResourceManager中的对象均被封装成服务和事件处理器，其中，封装成服务是为了统一管理，而所有事件处理器处理来自中央总调度器分配的事件，总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器，如此循环，构成了ResourceManager的整体架构。（1）RM中的服务YARN采用了服务模型，它将各种对象服务化，以便于统一管理（统一启动、关闭等）。YARN中将服务分为两
2013-10-23 15:09:45
625
YARN/MRv2 Resource Manager深入剖析—服务与事件处理器
ResourceManager中的对象均被封装成服务和事件处理器，其中，封装成服务是为了统一管理，而所有事件处理器处理来自中央总调度器分配的事件，总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器，如此循环，构成了ResourceManager的整体架构。（1）RM中的服务YARN采用了服务模型，它将各种对象服务化，以便于统一管理（统一启动、关闭等）。YARN中将服务分为两...
2013-10-23 15:09:00
150
转载 YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析
YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRMService、AdminService和WebApp，本节将对这三个服务分别进行详细介绍。1. ClientRMServiceClientRMService是为普通用户提供的服务，它会处理来自客户端各种RPC请求，比如提交应用程序、终止应用程序，获取应用程序运行状态等。ClientRMServic
2013-10-23 15:08:45
659
YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析
YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRMService、AdminService和WebApp，本节将对这三个服务分别进行详细介绍。1. ClientRMServiceClientRMService是为普通用户提供的服务，它会处理来自客户端各种RPC请求，比如提交应用程序、终止应用程序，获取应用程序运行状态等。ClientRMService实现了...
2013-10-23 15:08:00
143
转载 YARN/MRv2 Resource Manager深入剖析—RM总体架构
在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。ResourceManager主要由以下几个部分组成：用户交互YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRM
2013-10-23 15:07:51
651
YARN/MRv2 Resource Manager深入剖析—RM总体架构
在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。ResourceManager主要由以下几个部分组成：用户交互YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRM...
2013-10-23 15:07:00
277
转载 YARN/MRv2 RPC框架深入剖析—引入Protocal Buffer的好处
Hadoop2.0中已经将Protocol buffer（以面简称PB ，http://code.google.com/p/protobuf/ ）作为默认的序列化/反序列化框架，原来的自己实现的基于Writable的方式已经被淘汰了。来自Cloudera的Aaron T. Myers在邮件中这样说的“since PB can provide support for evolving proto
2013-10-23 15:06:59
737
YARN/MRv2 RPC框架深入剖析—引入Protocal Buffer的好处
Hadoop2.0中已经将Protocol buffer（以面简称PB ，http://code.google.com/p/protobuf/ ）作为默认的序列化/反序列化框架，原来的自己实现的基于Writable的方式已经被淘汰了。来自Cloudera的Aaron T. Myers在邮件中这样说的“since PB can provide support for evolving proto...
2013-10-23 15:06:00
122
转载 YARN/MRv2 MRAppMaster深入剖析—作业恢复
在MRAppMaster中，记录日志是由服务JobHistoryEventHandler完成的，而作业恢复是由服务RecoveryService完成的。同MRv1一样，MRv2也会对一些关键的事件记录日志，这主要有两个作用：（1）方便用户查看历史作业运行信息 （2）作业因故障重新启动后，可根据日志信息恢复之前已经运行完成的任务，以减少重新计算代价。MRAppMaster采用的日志格式与MR
2013-10-23 15:03:05
825
YARN/MRv2 MRAppMaster深入剖析—作业恢复
在MRAppMaster中，记录日志是由服务JobHistoryEventHandler完成的，而作业恢复是由服务RecoveryService完成的。同MRv1一样，MRv2也会对一些关键的事件记录日志，这主要有两个作用：（1）方便用户查看历史作业运行信息 （2）作业因故障重新启动后，可根据日志信息恢复之前已经运行完成的任务，以减少重新计算代价。MRAppMaster采用的日志格式与MR...
2013-10-23 15:03:00
116
转载 YARN/MRv2 MRAppMaster深入剖析—推测执行机制
1. 背景推测执行(Speculative Execution)是指在分布式集群环境下，因为程序BUG，负载不均衡或者资源分布不均等原因，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启
2013-10-23 15:01:49
836
YARN/MRv2 MRAppMaster深入剖析—推测执行机制
1. 背景推测执行(Speculative Execution)是指在分布式集群环境下，因为程序BUG，负载不均衡或者资源分布不均等原因，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启...
2013-10-23 15:01:00
193
转载 YARN/MRv2 MRAppMaster深入剖析—ContainerLauncher分析
ContainerLauncher负责与NodeManager通信，以启动一个container。在YARN中，运行Task所需的全部信息被封装到Container中，包括所需资源、依赖的外部文件、jar包、运行时环境变量、运行命令等。ContainerLauncher通过ContainerManager协议与NodeManager通信，该协议定义了三个RPC接口，具体如下：StartCo
2013-10-23 15:00:40
750
YARN/MRv2 MRAppMaster深入剖析—ContainerLauncher分析
ContainerLauncher负责与NodeManager通信，以启动一个container。在YARN中，运行Task所需的全部信息被封装到Container中，包括所需资源、依赖的外部文件、jar包、运行时环境变量、运行命令等。ContainerLauncher通过ContainerManager协议与NodeManager通信，该协议定义了三个RPC接口，具体如下：StartCo...
2013-10-23 15:00:00
133
转载 YARN/MRv2 MRAppMaster深入剖析—ContainerAllocator分析
1. ContainerAllocator概述ContainerAllocator负责与ResourceManager通信，为作业申请资源。作业的每个任务资源需求可描述为四元组，分别表示作业优先级、期望资源所在的host，资源量（当前仅支持内存），container数目，比如：//优先级是一个正整数，优先级值越小，优先级越高 //*表示这样的资源可来自任意一个节点，即不考虑数据
2013-10-23 14:57:45
851
YARN/MRv2 MRAppMaster深入剖析—ContainerAllocator分析
1. ContainerAllocator概述ContainerAllocator负责与ResourceManager通信，为作业申请资源。作业的每个任务资源需求可描述为四元组<Priority, hostname，capability，containers>，分别表示作业优先级、期望资源所在的host，资源量（当前仅支持内存），container数目，比如：<10,...
2013-10-23 14:57:00
175
转载 YARN/MRv2 MRAppMaster深入剖析—作业生命周期
本节分析一个作业从开始运行到运行结束，所经历的整个过程，期间涉及到的各种事件和状态变化。在正式讲解作业生命周期之前，先要了解MRAppMaster中作业表示方式，每个作业由若干干Map Task和Reduce Task组成，每个Task进一步由若干个TaskAttempt组成，Job、Task和TaskAttempt的生命周期均由一个状态机表示，具体可参考https://issues.apac
2013-10-23 14:56:32
789
YARN/MRv2 MRAppMaster深入剖析—作业生命周期
本节分析一个作业从开始运行到运行结束，所经历的整个过程，期间涉及到的各种事件和状态变化。在正式讲解作业生命周期之前，先要了解MRAppMaster中作业表示方式，每个作业由若干干Map Task和Reduce Task组成，每个Task进一步由若干个TaskAttempt组成，Job、Task和TaskAttempt的生命周期均由一个状态机表示，具体可参考https://issues.apac...
2013-10-23 14:56:00
143
转载 YARN/MRv2 MRAppMaster深入剖析—整体架构
MRAppMaster是MapReduce的ApplicationMaster实现，它使得MapReduce计算框架可以运行于YARN之上。在YARN中，MRAppMaster负责管理MapReduce作业的生命周期，包括创建MapReduce作业，向ResourceManager申请资源，与NodeManage通信要求其启动Container，监控作业的运行状态，当任务失败时重新启动任务等。
2013-10-23 14:55:15
925
YARN/MRv2 MRAppMaster深入剖析—整体架构
MRAppMaster是MapReduce的ApplicationMaster实现，它使得MapReduce计算框架可以运行于YARN之上。在YARN中，MRAppMaster负责管理MapReduce作业的生命周期，包括创建MapReduce作业，向ResourceManager申请资源，与NodeManage通信要求其启动Container，监控作业的运行状态，当任务失败时重新启动任务等。...
2013-10-23 14:55:00
188
转载 YARN/MRv2 MRAppMaster深入剖析—概述
1. 什么是MRAppMaster？我们知道，在MRv1中，JobTracker存在诸多问题，包括存在单点故障，扩展受限等，为了解决这些问题，Apache对MRv1进行了改进，提出了YARN，YARN将JobTracker中的作业控制和资源管理两个功能分开，分别由两个不同的进程处理，进而解决了原有JobTracker存在的问题。经过架构调整之后，YARN已经完全不同于MRv1，它已经变成了一个
2013-10-23 14:53:52
864
YARN/MRv2 MRAppMaster深入剖析—概述
1.什么是MRAppMaster？我们知道，在MRv1中，JobTracker存在诸多问题，包括存在单点故障，扩展受限等，为了解决这些问题，Apache对MRv1进行了改进，提出了YARN，YARN将JobTracker中的作业控制和资源管理两个功能分开，分别由两个不同的进程处理，进而解决了原有JobTracker存在的问题。经过架构调整之后，YARN已经完全不同于MRv1，它已经变成了一个资...
2013-10-23 14:53:00
265
转载 YARN编程实例—distributedshell源码分析
1. 概述本文介绍YARN自带的一个非常简单的应用程序编程实例—distributedshell，他可以看做YARN编程中的“hello world”，它的主要功能是并行执行用户提供的shell命令或者shell脚本。本文主要介绍distributedshell 的实现方法。Distributedshell的源代码在文件夹src\hadoop-yarn-project\hadoo
2013-10-23 14:52:16
1016
YARN编程实例—distributedshell源码分析
1. 概述本文介绍YARN自带的一个非常简单的应用程序编程实例—distributedshell，他可以看做YARN编程中的“hello world”，它的主要功能是并行执行用户提供的shell命令或者shell脚本。本文主要介绍distributedshell 的实现方法。Distributedshell的源代码在文件夹src\hadoop-yarn-project\hadoop-y...
2013-10-23 14:52:00
241
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人