8 CrazyBigData

尚未进行身份认证

风口的一只小小的猪,在科技的浪潮之巅中,翱翔吧

等级
TA的排名 94w+

Spark任务执行函数调用关系解析

本篇文章分析了Spark中分发任务的函数调用关系,从executor中线程执行任务,一直到上层DAGScheduler的submitWaitingStages()提交stage,自底向上地跟踪了Spark 中任务执行的完整函数链,由于任务最终的计算是由 Executor 中的线程承担的,我们就从任务在线程里面的执行开始,一步步向上回溯。任务最终在 Executor 的线程池内执行,将任

2016-09-28 15:08:50
勋章 我的勋章
    暂无奖章