混绅士-CSDN博客

原创 YARN源码分析之ApplicationMaster启动流程之NM端

上一篇介绍了RMAppMaster在RM端的启动流程，本篇继续介绍下在nodemanager端的启动流程。接着上篇的逻辑继续看下node端的startContainers代码:public StartContainersResponse startContainers(StartContainersRequest requests) throws YarnException,

2017-07-12 09:52:02 1097

原创 YARN源码分析之ApplicationMaster启动流程之RM端

任何一个计算框架或者说一个服务要运行在yarn上，都需要一个master来对job进行管理，这个master就是ApplicationMaster。ApplicationMaster是一个job的大脑，下面就以MapReduce为例，介绍下ApplicationMaster的启动流程。首先client向RM提交一个application请求，RM创建一个application，然后再创建一个appa

2017-07-12 00:02:34 800

原创 Docker初体验

最近接触了点docker相关的技术，在此小记下。安装docker有多系统现在默认装了docker，可以运行docker启动命令尝试下

2017-06-27 23:34:28 359

原创 unclean.leader.election.enable引起的outOfRanger

前段时间采集平台的数据量发生异常，对数据进行排查发现hdfs上存在历史数据重复消费的问题。采集平台是由TailDirSource+KafkaChannel将数据写入kafka，然后通过kafkaChannel+HDFSSink将数据写入hdfs 整个采集平台可能出现的故障的地方如下： taildir重复采集了log taildir调用kafkachannel向kafka写数据时进行了回滚

2017-06-24 17:10:03 1893

原创 YARN源码分析之ApplicationMaster分配策略

一次和朋友的谈话中涉及到ApplicationMaster的container分配策略是什么，我映像中是随机分配的，但他说是根据各节点空闲资源来分配的。之前看代码的时候也没注意这块的逻辑，既然现在有了疑惑那就去代码里瞅瞅。个人站点地址：http://bigdatadecode.club/YARN源码分析之ApplicationMaster分配策略.html从MR的运行log中可以找到AM的con

2017-06-15 10:54:50 2909 1

原创 flume事务解析

在flume中事务是一个重要的概念，事务保证了数据的可用性。这里的事务有别于数据库中的事务，比事务在回滚时，可能会造成数据重复，所以flume保证的是每条数据最少发送一次，以此来保证数据不丢失。此篇从具体的数据流中分析事务，配置的数据流是taildir+kafkachannel，然后kafkachannel+hdfsSink。kafkachannel中维护了两个事务，分别是put事务和take事务。

2017-06-07 23:02:13 3213