- 博客(3)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 对于Hadoop中shuffle的过程的理解
Hadoop中shuffle分为两个过程 Map端的shuffle Map端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘，而不是HDFS。每个Map的输出会先写到内存缓冲区中，当写入的数据达到设定的阈值时，系统将会启动一个线程缓冲区的数据写到磁盘，这个过程叫做spill。 在spill写入之前，会先进行二次排序，首先根据数据所属的partition进行排序，然后每个partit...
2019-07-21 23:51:09
703
C语言深度解剖
《C语言深度解剖:解开程序员面试笔试的秘密》由作者结合自身多年嵌入式c语言开发经验和平时讲解C语言的心得体会整理而成，其中有很多作者独特的见解或看法。由于并不是从头到尾讲解C语言的基础知识，所以《C语言深度解剖:解开程序员面试笔试的秘密》并不适用于C语言零基础的读者，其内容要比一般的C语言图书深得多、细致得多，其中有很多问题是各大公司的面试或笔试题。, 《C语言深度解剖:解开程序员面试笔试的秘密》适合广大计算机系学生、初级程序员参考学习，也适合计算机系教师、中高级程序员参考使用。
2017-10-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人