1 梦如汐

尚未进行身份认证

我要认证

代码改变世界

等级
TA的排名 74w+

MapReduce运行过程

MapReduce是运行在yarn集群上的 主要分resourcemanger和nodemanger两类一个完整的MapReduce程序分为三个部分MRAppMaster 负责整个程序的过程调度及状态协调MapTesk 负责map阶段的整个数据处理流程ReduceTesk 负责reduce阶段的整个数据处理流程MapReduc...

2019-10-10 14:14:25

大数据 ------hadoop(HDFS文件写的过程)

1. Client 发起文件上传请求, 通过 RPC 与 NameNode 建立通讯, NameNode 检查目标文件是否已存在, 父目录是否存在, 返回是否可以上传2. Client 请求第一个 block 该传输到哪些 DataNode 服务器上3. NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配, 返回可用的DataNode 的地址如: A, B,...

2019-09-26 21:54:50

大数据之--------hadoop存储(HDFS)

Hadoop 的存储系统是 HDFS(Hadoop Distributed File System)分布式文件系统,对外部客户端而言,HDFS 就像一个传统的分级文件系统,可以进行创建、删除、移动或重命名文件或文件夹等操作,与 Linux 文件系统类似。Client客户端文件切片,文件上传的时候,Client对上传的文件进行切片成一个一个block,然后进行存储与namenode交互,获取文...

2019-09-21 20:49:45

大数据之--------hadoop(简介)

简介:Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,它可以使用户在不了解分布式底层细节的情況下开发分布式程序,充分利用集群的威力进行高速运算和存储。从其定义就可以发现,它解決了两大问题:大数据存储、大数据分析。也就是 Hadoop 的两大核心:HDFS 和 MapReduce。(1)HDFS(Hadoop Distributed File System)是可扩展、容...

2019-09-21 20:48:18

大数据入门-----zookeeper

Shell 编程一般指编写 shell 脚本。1:基本语法:使用 vi 编辑器新建一个文件 hello.sh 1 2 #!/bin/bash echo"Hello World !" 执行方式:方式1:sh hello.sh方式2chmod +x ./hello.sh #使脚本具有执行权限./hell...

2019-09-10 15:04:39
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。