4 carrialine

尚未进行身份认证

暂无相关描述

等级
博文 8
排名 153w+

hbase中regionserver的flush过程

1、regionServer的全局memstore的大小,超过该大小会触发flush到磁盘的操作,默认是堆大小的40%, 而且regionserver级别的flush会阻塞客户端读写 <property>      <name>hbase.regionserver.global.memstore.size</name>      <val...

2018-05-23 18:34:22

hadoop的比较器WritableComparable

一、WritableComparable是一个接口,它继承了hadoop自己封装的序列化类Writable和java中的Comparable接口。 1、 源码如下:publicinterfaceWritableComparable<T>extendsorg.apache.hadoop.io.Writable,java.lang.Comparable<T>pu...

2018-05-10 14:41:38

hadoop序列化

Writable是hadoop自己研发的一套序列化机制。与java(Serializable)的序列化相比,便于在网络中高效传输,去除了很多额外的信息(各种校验信息,继承体系等)一、常用的数据类型对应的Hadoop数据序列类型java类型hadoopWritable类型booleanBooleanWritablebyteByteWritaleint IntWritablelongLongWrit...

2018-05-10 13:00:46

将写好的hadoop工程,打成jar包或者war包,在依赖中需要 添加

在maven工程pom.xml中需要添加的<build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>2.3.2</version> <configuration&

2018-05-10 12:45:23

hadoop在开发工具开控制台上打印不出日志的解决方法

(1)在windows环境上配置HADOOP_HOME环境变量(2)在eclipse上运行程序(3)注意:如果eclipse打印不出日志,在控制台上只显示1.log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).  2.log4j:WARN Please initialize the log...

2018-05-10 12:41:57

MapReduce进程

mapreduce的三个实例进程在分布式运行是分别担任的任务1、MrAppMaster:负责整个程序的过程调度及状态协调2、MapTask:负责map阶段的整个处理流程3、ReduceTask:负责reduce阶段的整个数据处理流程编程阶段1)mapper阶段        mapper的输入数据是kv对的形式(kv的类型可以自定义)        Mapper中的业务逻辑写在map()方法中 ...

2018-05-10 12:04:02

MapReduce核心思想

定义:Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。特点:Mapreduce数据源是静态的,每个MapReduce作业的输出结果都会写入磁盘,会产生磁盘IO。1、分布是的运算程序往往需要分成至少2个阶段2、第一阶段的mapreduce并发运行,互不相干3、mapreduce编程中只能包含一个map阶段,一个reduce阶段。4、如果用户...

2018-05-10 11:50:40

hadoop01

本地运行模式//创建input文件夹mkdirinput//将Hadoop自定义的配置文件拷到input文件夹cpetc/hadoop/*.xmlinput//获得input目录下以dfs开头的文件hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jargrepinputoutput'dfs[a-z.]...

2018-05-07 21:18:14
奖章
    暂无奖章