- 博客(7)
- 收藏
- 关注
RSS订阅原创 Spark计算引擎概述
8.1 计算引擎概述Spark的计算引擎主要包括执行内存和Shuffle两部分1、执行内存执行内存只要包括执行内存、任务内存管理器、内存消费者等内容。执行内存包括在JVM堆上进行分配的执行内存池和在操作系统的内存中进行分配的Tungsten。内存管理器将提供API对执行内存和Tungsten进行管理（包括申请内存、释放内存等）。因为同一节点上能够运行多次任务尝试，所有需要每一次任务...
2019-04-26 15:49:11
760
原创 spark存储体系概览
简单的讲，Spark存储体系是各个Driver和Executor实例中的BlockManager所组成的。但是从一个整体出发，把各个节点的BlockManager看成存储体系的一部分，那么存储体系还有更多衍生的内容，比如块存储服务、map任务输出跟踪器，Shuffle管理器。6.1.1 存储体系架构1）BlockManagerMaster:代理BlockManager与Driver上的Bl...
2019-04-10 13:35:57
186
原创 spark2.2 任务调度器TaskScheduler源码解析
1、TaskScheduler的作用TaskScheduler是一个特质，目前只有一个TaskSchedulerImpl的实现类TaskSchedulerImpl的功能包括：1、接收DAGScheduler给每个Stage创建的Task集合2、按照调度算法将资源分配给Task3、将Task交给Spark集群不同节点上的Executor运行4、在这些Task执行失败时进行重试...
2019-04-02 23:19:45
223
原创 Spark源码解析：TaskSetManager 任务推断执行源码解析。
1、TaskSetManager的概述TaskSetManager也实现了Schedulable特质，并参与到调度池的调度中，TaskSetManager对TaskSet进行管理，包括任务推断、Task本地性、并对Task进行资源分配。TaskSchedulerImpl依赖于TaskSetManager.2、推断执行在Hadoop2.x.x版本中，当一个应用向Yarn集群提交作业后，此...
2019-03-28 12:43:03
302
原创 启动Hadoop2.6 DataNode启动不了的问题
异常信息2018-04-11 22:40:22,786 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /usr/local/src/Hadoop2.0/hadoop/tmp/dfs/data: namenode clusterID = CID-60...
2018-04-12 14:13:10
227
转载 Zookeep启动异常：Error contacting service. It is probably not running.
网上问题答案有许多种，一一归纳：1. zoo.cfg配置文件中指定目录却没有创建！ 创建相应目录即可。2. zoo.cfg中dataDir指定路径为Myid文件的路径。Myid内容与：server.?=localhost:2888:3888 中你所设置？一致！3.使用service iptables stop 关闭防火墙 使用service iptables status确认4. 1...
2018-04-12 10:50:58
100
原创 Zookeeper3.4.11集群搭建
1、通过VMware的共享目录 讲Zk Jar包上传到master虚拟机2、将master节点下/mnt/hgfs/share_floder下的ZK Jar拷贝到/usr/local/src目录下，并解压缩Jar包，压缩后删除jar包 3、将解压后的jar包改名为zookeeper,并接下来设置zookeeper的相关环境变量，进入~/.bashrc文件，按照下图更改好，输入source ~/....
2018-04-12 10:49:47
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人