9 bryceforphy

尚未进行身份认证

大家好,我毕业于ZJU,现在是从事于互联网行业的码农一枚,平时对大数据、分布式系统等方面感兴趣,希望能够在这里与大家彼此交流,共同提高。追求知识的道路上,进一步有一步的欢喜。微博@不睡觉的时候会困,谢谢。

等级
TA的排名 3w+

HBase Replicate中的peer处理

如果用户新加入了一个peerid,那怎么处理,这部分逻辑的入口在ReplicationSourceManager的addSource方法中:addSource接受peerid作为参数,它会新创建一个ReplicationSourceInterface(实际就是ReplicationSource)和ReplicationEndpoint,并分别初始化两者,ReplicationSource负责h...

2018-10-19 17:12:31

HBase Replication的源码分析

在HRegionServer中有两个量和replication相关,如下图所示:在ReplicationSourceService中只有一个方法getWALActionsListener,该方法返回WALActionsListener。ReplicationSinkService同样也是一个接口类,它有一个方法replicateLogEntries。在HRegionServer的如下代码段...

2018-10-19 17:05:29

openTSDB的安装部署

首先openTSDB以root用户安装,安装前需要确认HBase集群已安装完毕,并且JAVA_HOME也已设置,并且安装gnuplot(yuminstallgnuplot);1、从官网上下载相应版本的openTSDB安装文件,并解压该文件,并执行编译:tar-xvfopentsdb-2.2.2.tarcdopentsdb-2.2.2.tar./build.sh2、执行...

2018-10-19 16:24:33

HBase因hostname可能引起的RIT问题

HBase的RegionServer会将自己的hostname上报到zookeeper,客户端连接zookeeper时,获取的是regionserver的hostname,再由hostname获得regionserver的ip地址。基于hbase的这种名称上报机制,客户端连接hbase时,需要能够ping通hbase的hostname,但是如果把hbase的hostname分发到所有的服务器上,毕...

2018-10-19 16:03:40

HBase限流机制源码分析

master启动的时候会初始化MasterQuotaManager,并启动该manager;MasterQuotaManager实现了RegionStateListener接口,可以监听region的状态变化,RegionStateListener接口中定义了三个事件,分别是onRegionSplit,onRegionSplitReverted,onRegionMerged。MasterQ...

2018-09-09 13:27:33

HBase高级优化配置

hbase.regionserver.optionalcacheflushinterval默认是1hour,regionserver每个region上的memstore会每个小时flush一次,这也是flush的触发条件之一,代码在PeriodicMemstoreFlusher中 hbase.regionserver.regionSplitLimit一个regionserver上的...

2018-08-24 11:47:50

HBase Replication的源码解析

Replication的类结构:replication的类结构包括了ReplicationSource、ReplicationSourceManager和ReplicationSink、ReplicationSinkManger以及ReplicationEndpoint五部分组成。ReplicationSource是源端负责读取wal entry的对象,每个RegionServer对应每个pee...

2018-02-24 22:44:19

Apache Ranger的安装及其HBase插件的使用

ApacheRanger是HDFS生态系统的安全管理框架,用于对HDFS生态的产品,包括HBase、Hadoop、Hive、Kafka等提供一个集中式的安全管理策略。ApacheRanger在架构组成上包括一个策略管理服务器(PolicyAdminServer),该服务将策略存储于外部的关系型数据库,如MySQL中。

2017-09-15 18:40:42

HBase PerformanceEvaluation机制分析

本文我们来分析一下hbase自带的测试工具——performanceEvaluation。该工具是hbase自带的性能压测工具,基本原因是是用多线程模拟多用户同时访问集群的情况。运行hbaseorg.apache.hadoop.hbase.PerformanceEvaluation,可以看到关于performanceEvaluation的用法介绍,如下图中所示:介

2017-09-09 08:47:51

HBase的权限控制

HBase自带的权限管理工具:HBase的权限管理包括两个部分,分别是Authentication&AuthorizationAuthentication:针对某host是否有权成为集群的regionserver或者client端;Authorization:是针对client端对集群数据的读写等权限;其中Authentication由kerberos提供解决方

2017-08-27 10:33:45

HBase&HDFS异构存储的使用&简单介绍

使用方式:首先,开启hdfs异构存储策略,配置项是——dfs.storage.policy.enabled,该配置默认是开启的(true);第二步,需要将机器物理硬件上已经部署好的磁盘配置添加到hdfs的配置项dfs.datanode.data.dir中,需要注意的对于SSD盘或者RAM_DISK需要打上特殊的标记,类似[SSD]、[RAM_DISK],配置示例如下:

2017-04-22 12:14:23

高可用Hdfs&HBase配置实践

首先介绍版本背景,hdfs为2.7.1,hbase为1.3.0,其它版本的配置可能存在变化。HDFS相关配置:dfs.datanode.synconclose设为true,当为false时,系统重启或断电时有可能数据丢失,默认值是falsedfs.datanode.sync.behind.writes=FALSE如果是true,写之后,DN将指示操作系统把队列中的数据全部立

2017-03-28 22:24:46

HBase BlockCache机制讲解&源码分析

HBase上RegionServer的cache主要分为两个部分,分别是memstore&blockcache,其中memstore主要用于写缓存,而blockcache用于读缓存。当数据写入hbase时,会先写入memstore,RegionServer会给每个region提供一个memstore,memstore中的数据达到系统设置的水位值后,会触发flush将memstore中的数据刷写

2017-03-18 15:36:36

事件驱动的HLog写入模型

WALFactory:分析HLog的写入首先要从WALFactory开始,WALFactory是一个管理wal的工厂实例,WALFactory中提供了两个接口createReader&createWriter,分别实现了对wal文件的读和写,其实这两个读写接口也是由DefaultWALProvider提供的。HRegionServer中管理着一个WALFactory变量,定义的格式如下:

2017-03-11 17:10:46

MySQL使用小坑总结(一)

1、数据库中的字段类型不要使用long型,否则会造成查询缓慢,可以选择BigInt类型来代替。2、避免select*。3、如果表结构中字段定义的类型与应用传入的类型不一致,这时候可能会发生隐式转换;两个表join的时候,如果字符集定义不一致,也会导致隐式转换,mysql中定义的隐式转换规则如下所示:a、两个参数至少有一个是NULL时,比较的结果也是NULL,例外是使用对两个NULL做

2017-03-02 19:01:26

HBase源码之Compaction的执行策略分析

HBase的Compaction操作一般都是表粒度的,该操作会将合并HStore下的storefile文件,具体应该合并哪些storefile文件则是由compaction的筛选算法决定的。基本的调用逻辑是用户的compactRequest一步步向下传递,最终传入HStore中的requestCompaction()方法里。也就是说compaction请求最终送到了该表相关的各个HStore,

2017-02-26 17:00:06

租约机制以及在hbase中的应用

为什么需要Lease分布式系统中为什么需要租约机制,这是因为在分布式系统,为了保证服务的高可用,需要在服务发生故障的时候及时启动另外一个服务实例以替换故障服务。这样就需要在服务端和客户端或者服务端和控制中心维持一个心跳信息,用于服务进程向控制中心汇报当前自己的健康情况,如果控制中心在一段时间收不到服务进程上报的心跳,则会启动新的进程继续对外提供服务。但是,由于实际网络情况的复杂性,控制中心

2017-02-18 18:00:11

常用Linux运维指令汇总

收集了一下工作中常用的Linux运维指令,列在下面,本文长期更新。netstat-na|grep7651查看本机7651端口在和谁通信psaux|grep7651查看本机7651进程的相关信息psaux--sort-rss显示各个进程对内存的使用情况,从大到小排序netstat-ntpl查看处于监听状态的TCP类型的端口netstat-

2017-01-18 20:10:15

HBase中MemStore flush的源码解析

flush请求的发出:HRegion会调用requestFlush()触发flush行为,flush发生在每一处region可能发生变化的地方,包括region有新数据写入,客户端调用了put/increment/batchMutate等接口。hbase.hregion.memstore.block.multiplier是个乘数因子,默认值是4,该值会乘上hbase.hregion.mem

2017-01-09 19:05:57

java并发包在hbase&hadoop中的应用

HBase保证了行级事务,也就是说保证行级数据的ACID属性,为了实现上述的事务属性同时保持数据库读写的高性能,HBase采用了各种并发控制策略。本文从常用的Java并发工具入手,并分析它们在hbase中的使用,一者对Java的并发工具包有更深刻的理解,其次对HBase的并发控制机制有更清晰的认识。CountDownLatch:CountDownLatch是在jdk1.5中引入的,这个类能

2017-01-04 18:56:12

查看更多

勋章 我的勋章
    暂无奖章