转折转折-CSDN博客

转载 hadoop相关 mapreduce 相关

作业： 1.mapreduce 工作流程参数意义 2.FileInputFormat ？ 3.写个去重MR 4.完成sort 5.工作流程总结 spli—map—reduce 6.InputSplit？简介mapreduce工作流程转载自 http://blog.csdn.net/tanggao1314/ 整个MapReduce的过程大致分为 Map–>Shuffle（排序）–>C

2017-07-23 15:46:02 243

转载 Hadoop中HDFS相关

作业总结HDFS的IO操作数据完整性的操作文件格式压缩算法序列化数据类型Hadoop工程下与I/O相关的包如下： org.apache.hadoop.io org.apache.hadoop.io.compress org.apache.hadoop.io.file.tfile org.apache.hadoop.io.serializer org.apache.hadoo

2017-07-20 21:42:15 311

转载 HADOOP 中的问题

来源 http://blog.csdn.net/qqq824908000/article/details/70789303 java.io.EOFException: End of File Exception between local host is: “slave2/172.17.0.25”; destination host is: “master”:9000; : java.io

2017-07-20 20:06:22 363

转载 hadoop put指令失败

hadoop fs -put 指令输入之后出现 put: File /1.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.原因

2017-07-20 10:43:55 2622 2

Hadoop主从结构HDFS的体系架构整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功

2017-07-19 19:58:39 510

转载 Hadoop相关

Hadoop相关概念Hadoop是什么？Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.核心Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.优点Hadoop是一个能够对大量数据进行分布式处理的软件框架。 H

2017-07-18 23:25:58 317

转载大数据相关

大数据相关结构化与非结构化处理手段什么是大数据数据仓库 #注意以下内容转自百度百科结构化结构化数据，简单来所就是数据库基本包括高速存储应用需求、数据备份需求、数据共享需求、以及数据容灾需求概述结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进彳存储和管理。与结构化数据相对的是不适于由数据库二维表来表现的非结构化数据

2017-07-17 19:50:04 828

转折转折的博客