- 博客(1)
- 收藏
- 关注
RSS订阅原创 Spark任务执行函数调用关系解析
本篇文章分析了Spark中分发任务的函数调用关系，从executor中线程执行任务，一直到上层DAGScheduler的submitWaitingStages()提交stage，自底向上地跟踪了Spark 中任务执行的完整函数链，由于任务最终的计算是由 Executor 中的线程承担的，我们就从任务在线程里面的执行开始，一步步向上回溯。 任务最终在 Executor 的线程池内执行，将任
2016-09-28 15:08:50
1087
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人