Hhadoop-2.7.0中HDFS写文件源码分析（二）：客户端实现之DFSPacket

一、简介      HDFS在数据传输过程中，针对数据块Block，不是整个block进行传输的，而是将block切分成一个个的数据包进行传输。而DFSPacket就是HDFS数据传输过程中对数据包的抽象。二、实现      HDFS客户端在往DataNodes节点写数据时，会以数据包packet的形式写入，且每个数据包包含一个包头，n个连续的校验和数据块checksum chunks和n个连续的

2137次阅读

2016-12-20 17:18:52

Hhadoop-2.7.0中HDFS写文件源码分析（二）：客户端实现（1）

一、综述      HDFS写文件是整个Hadoop中最为复杂的流程之一，它涉及到HDFS中NameNode、DataNode、DFSClient等众多角色的分工与合作。      首先上一段代码，客户端是如何写文件的：Configuration conf = new Configuration();FileSystem fs = FileSystem.get(conf);Path file

4423次阅读

2016-12-19 16:12:57

Hadoop-2.7.0中HDFS NameNode HA实现之DFSZKFailoverController、ZKFailoverController（一）

一、简介    DFSZKFailoverController是Hadoop-2.7.0中HDFSNameNodeHA实现的中心组件，它负责整体的故障转移控制等。它是一个守护进程，通过main()方法启动，继承自ZKFailoverController。二、实现流程   1、启动    通过main()方法启动，如下：/***进程启动的main()方法*/

11244次阅读

2016-12-14 14:40:29

Hadoop-2.7.0中HDFS NameNode HA实现综述

一、原理      HDFS中NameNode等的HA是基于ZooKeeper实现的。它应用了ZooKeeper集群的如下功能或特性：      1、只要半数以上节点还存活，就继续能对外提供服务；      2、ZooKeeper通过Paxos算法提供了leader选举功能，其它follower learn leader；      3、ZooKeeper提供了watcher机制，只要ZooKee

2604次阅读

2016-12-14 14:39:58

Hadoop-2.7.0 HA实现细节分析之HealthMonitor

一、HealthMonitor是什么      HealthMonitor是一个周期性工作的后台线程，它在一个循环中周期性的同HA服务进行心跳，负责跟踪NameNode服务的健康状况，并在健康状况变化时调用failover控制器的回调方法。二、HealthMonitor是如何实现的      1、成员变量            HealthMonitor内部有如下主要成员变量：

1207次阅读

2016-12-11 11:54:26

Java源码分析之CountDownLatch

一、CountDownLatch介绍       CountDownLatch是一种同步手段，允许一个或者更多的线程等待，直到在其他线程正在执行的一组操作完成。给定count数目后CountDownLatch被初始化。await()方法阻塞，直到由于调用countDown()方法，当前count值达到0，之后所有等待线程被释放，而任何后续await()方法的调用会立即返回。这个是只有一次的现场，即

593次阅读

2016-12-10 12:26:49

堆排序之Java实现

一、堆排序算法① 先将初始文件R[1..n]建成一个大根堆,此堆为初始的无序区② 再将关键字最大的记录R[1](即堆顶)和无序区的最后一个记录R[n]交换，由此得到新的无序区R[1..n-1]和有序区R[n]，且满足R[1..n-1].keys≤R[n].key③由于交换后新的根R[1]可能违反堆性质，故应将当前无序区R[1..n-1]调整为堆。然后再次将R[1..n-1]中关键字最大的记录R[1

437次阅读

2016-12-09 14:01:04

Java设计模式之单例模式

一、懒汉模式package com.pengli.designmode.singleton;public class Singleton1 { // 私有静态变量 // 需要 用volatile修饰 private static volatile Singleton1 singleton = null; // 私有构造函数，不能实例化 private Singleton1() {

406次阅读

2016-12-09 10:05:38

冒泡排序之Java实现

一、冒泡排序算法      1、 比较相邻的元素。如果第一个比第二个大，就交换他们两个。      2、对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。      3、针对所有的元素重复以上的步骤，除了最后一个。      4、持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。      二、Java实现package com.

511次阅读

2016-12-09 09:40:27

Hadoop-2.7.0 HDFS DataXceiverServer两个参数的疑问

1、TcpPeerServer的数据接收缓冲区大小        Hadoop-2.7.0的DataXceiverServer中，在DataNode中对其初始化时，会构造一个TcpPeerServer，并设置数据接收缓冲区大小如下：tcpPeerServer.setReceiveBufferSize(HdfsConstants.DEFAULT_DATA_SOCKET_SIZE);        这

730次阅读

2016-12-07 18:46:21

HBase-1.2.4LruBlockCache实现分析（二）

本文介绍LruBlockCache如何获取缓存数据。        缓存数据的获取是在方法getBlock()中实现的，代码如下： /** * Get the buffer of the block with the specified name. * @param cacheKey block's cache key * @param caching true if the

581次阅读

2016-12-02 00:01:45

HBase-1.2.4 CombinedBlockCache和InclusiveCombinedBlockCache

一、综述        在《HBase-1.2.4 Allow block cache to be external分析》一文的最后，讲解了如何实例化外部缓存MemcachedBlockCache。本文将对上文中提到的几种缓存中的InclusiveCombinedBlockCache和CombinedBlockCache做个综述。        上文中提到的缓存实现，有以下几种：        1

596次阅读

2016-12-01 23:54:23

HBase-1.2.4 Allow block cache to be external分析

从HBase-1.1.0起，HBase可以使用memcached作为外部BlockCache，这是一个在设备失效或者升级时不会发生完全的冷缓存的很好的特性。用句通俗的话讲，就是HBase出现故障或者升级时，缓存轻易不会丢失。

668次阅读

2016-12-01 23:35:54

HBase-1.2.4LruBlockCache实现分析（一）

BlockCache是HBase中的一个重要特性，相比于写数据时缓存为Memstore，读数据时的缓存则为BlockCache。 LruBlockCache是HBase中BlockCache的默认实现，它采用严格的LRU算法来淘汰Block。

1761次阅读

2016-12-01 17:28:22

HDFS Archival Storage

一、是什么二、怎么做      1、标记DataNode存储属性      2、重启DataNode      3、标记或查看HDFS路径存储策略      4、迁移数据      5、检查文件数据块三、测试四、我们可以用来做什么一、是什么      随着数据的日益增长，很多数据由热变冷，已经不再或者很少使用，而数据的存储需求越来越大，计算需求则相应增长不大。如何解耦这种急剧增长的存储需求和计算需

1387次阅读

2016-12-01 14:45:25

Hadoop-2.6.0 DFSClient Hedged Read实现分析

一、简介      DFSClient Hedged Read是Hadoop-2.4.0引入的一个新特性，如果读取一个数据块的操作比较慢，DFSClient Hedged Read将会开启一个从另一个副本的hedged读操作。我们会选取首先完成的操作，并取消其它操作。这个Hedged读特性将有助于控制异常值，比如由于命中一个坏盘等原因而需要花费较长时间的异常阅读等。二、开启      DFSCli

2727次阅读

2016-11-29 18:05:19

《Redis设计与实现》阅读：Redis底层研究之哈希表hashtable

字典是一种存储键值对的抽象数据结构，其又被称为符号表（symbol table）、关联数组（associative array）或映射（map）。Redis使用字典存储键值对，而Redis在底层是通过自定义的哈希表来实现字典这一数据结构的。本文，我们将研究Redis中哈希表的实现。

1807次阅读

2016-11-29 16:15:44

Hadoop-2.6.0NodeManager Restart Recover实现分析（二）

继上篇《Hadoop-2.6.0NodeManager Restart Recover实现分析（二）》。      4、NMLeveldbStateStoreService实现分析      在      1）、initStorage()      initStorage()方法中，完成了存储相关的初始化，如下： @Override protected void initStorage(Co

877次阅读

2016-11-29 14:04:35

Hadoop-2.6.0NodeManager Restart Recover实现分析（一）

一、简介      This document gives an overview of NodeManager (NM) restart, a feature that enables the NodeManager to be restarted without losing the active containers running on the node. At a high level,

1529次阅读

2016-11-29 13:38:13

NM Restart Design Overview

This document describes the design of the NodeManager restart work under YARN­1336 and its sub­JIRAs.  NM restart is a feature where the NodeManager can be restarted without losing the active containe

498次阅读

2016-11-28 14:27:51

查看更多