- 博客(0)
- 资源 (11)
- 收藏
- 关注
搭建spark环境
Apache Spark 大数据处理通用引擎,提供了分布式的内存抽象,其最大的特点就是快,比 Hadoop MapReduce 的处理速度快 100 倍,且提供了简单易用的 API,几行代码就能实现 WordCount。
2019-06-26
搭建Hadoop集群
HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。
HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode。
YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager。
2019-06-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人