3 codenow.fun

尚未进行身份认证

我要认证

不惑于自己,不惑于未来;找到自己的兴趣爱好,并不断坚持下去。

等级
TA的排名 3w+

HBase RIT异常分析及其解决方案, region(s)in transistion for more than 60000 milliseceonds

最近的一段时间,HBase集群突然出现了一些异常,偶尔部分机器会出现RIT的情况,

2020-09-20 23:21:22

HBase-2.2.4 Shell操作指令和Java Api归纳

Shell 数据定义create: 用于创建一个表。create 'order','info','user'create 'userlog','info','params','result'list: 用于列出HBase的所有表。hbase(main):009:0> listTABLEorderuserlog2 row(s)Took 0.0088 seconds=> ["order", "userlog"]disable: 用于禁用表。h.

2020-09-16 23:48:21

HBase-2.2.4架构原理与完全分布式使用

HBase的架构通过上图我们可以得出Hbase中的每张表都按照一定的范围被分割成多个子表(HRegion),默认一个HRegion超过 256M 就要被分割成两个,由 HRegionServer管理,管理哪些HRegion由HMaster分配。现在我们来介绍一下HBase中的一些组成部件以及它们起到的作用:Client:包含访问HBase的接口,并维护cache来加快对HBase的访问。Zookeeper:HBase依赖Zookeeper,默认情况下HBase管理Zookeeper.

2020-09-15 23:58:43

HDFS架构与可靠性

Block数据块基本存储单位,一般为128M(Hadoop1.x默认64M,Hadoop2.x默认128M)基本的读写单位,类似于磁盘的页,每次读写一块每个块默认复制三分存储到多台机器NameNode存储文件的metadata,运行时所有metadata数据都保存到内存,因此整个HDFS可存储的文件数受限于NameNode的内存大小 一个Block在NameNode中对应一条记录(一般一个block占用150字节),如果是大量的小文件,会消耗大量内存。同时map tas...

2020-09-07 23:23:34

Hadoop大数据生态系统测试环境构建——基于CentOS7.8部署Hadoop3.1.4集群

1、准备三台测试机器并配置好网络和免密登录, 配置4G 双核 500G ,系统 CentOS Linux release 7.8.2003 (Core)(如果觉得麻烦可以在虚拟机上搭建) ip和hostname分别是: 192.168.236.128 Master.Hadoop 192.168.236.129 Slave1.Hadoop 192.168.236.130 Slave2.Hadoop我们可以先简单试下有没有问题...

2020-09-04 12:07:53

YARN资源调度中的细节探究

1. Job submission从ResourceManager中获取一个Application ID 检查作业输出配置,计算输入分片 拷贝作业资源(job jar、配置文件、分片信息)到HDFS,以便后面任务的执行2. Job initializationResourceManager将作业递交给Scheduler(有很多调度算法,一般是根据优先级)Scheduler为作业分配一个Container,ResourceManager就加载一个application master ...

2020-09-01 23:55:50

深入理解主从Reactor多线程模型

Reactor主线程对象通过select监听连接事件,通过Acceptor处理连接事件当Acceptor处理连接事件后,主reactor将连接分配给从Reactor从Reactor将连接加入到连接队列进行监听,并创建handler进行各种事件处理当有新事件发生时,从reactor就会对用对应的handler处理...

2020-06-28 23:53:02

kubernetes的dashboard报错unable to decode no kind Role is registered for version

dashboard报错unable to decode "https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml": no kind "Role" is registered for version "rbac.authorization.k8s.io/v1"unable to decode "https://raw.githubusercontent.com/kubernete

2020-05-14 16:50:03

深入理解LSM存储模型

LSM(log-structed-merge-tree)

2020-05-27 23:56:34

hbase/hadoop异常:No lease on /hbase/archive/data/... File is not open for writing

./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot "MODEL.THIRD_PARTY_KV-11211752-snapshot" -copy-from hdfs://fromIP:9000/hbase -copy-to hdfs://toIP:9000/hbase -mappers 40 -bandwidth 300错误日志;org.apache.hadoop.hdfs.server.namenode.LeaseExp

2020-05-23 00:03:45

BIO、NIO、AIO、同步、异步、阻塞、非阻塞和多路复用模型

IO、NIO、BIO、AIO、阻塞、非阻塞和多路复用

2020-03-10 23:59:00

快速排序、归并排序、选择排序和插入排序的Java实现

快速排序 快速排序使用分治法(Divide and conquer)策略来把一个串行(list)分为两个子串行(sub-lists)。快速排序又是一种分而治之思想在排序算法上的典型应用。本质上来看,快速排序应该算是在冒泡排序基础上的递归分治法。在平均状况下,排序 n 个项目要 Ο(nlogn) 次比较。在最坏状况下则需要 Ο(n2) 次比较,但这种状况并不常见。事实上,快速排序通常明显比其他 Ο(nlogn) 算法更快,因为它的内部循环(inner loop)可以在大部分的架构上很有效率地..

2020-05-13 20:32:53

红黑树的实现与应用

红黑树

2020-05-03 23:41:23

SpringBoot自动配置实现平台核心服务自动加载

什么是自动配置 看下官方原文咋说的,Spring Boot auto-configuration attempts to automatically configure your Spring application based on the jar dependencies that you have added. For example, ifHSQLDBis on your c...

2020-05-01 23:02:54

真的搞懂了网络七层协议吗?

真的搞懂了网络七层协议吗?

2020-04-30 23:38:32

git 报错Could not read from remote repository. Please make sure you have the correct access rights an

最近在拉取github、gitlab中的项目时,git 报了这样的错误,错误很简单,但是也是常碰到的Warning: Permanently added the RSA host key for IP address '13.250.177.223' to the list of known hosts.git@github.com: Permission denied (publickey...

2020-04-28 00:02:25

HBase海量业务数据二级查询实现毫秒级响应,HBase原理与数据模型设计详解

为什么需要使用HBase做海量业务数据的存储1、扩展性强、容量大,支持百亿行、百万列数据的存储。HBase底层基于HDFS,可动态增加节点2、高可靠性,WAL机制保证数据的安全性,Replication机制保证集群的数据容灾能力3、高性能,由于底层的LSM数据结构和RowKey有序排序,HBase具备较好的随机读取性能,RowKey的查询可达毫秒级响应4、稀疏性、面向列存储,空列不...

2020-04-13 23:31:39

真的搞懂Mybatis原理了吗

Mybatis是一个开源的支持定制化 SQL、存储过程以及高级映射的半ORM框架它的底层操作封装了JDBC的API,工作原理以及核心流程与JDBC的使用步骤一脉相承首先弄清楚核心对象(1)SqlSession对象,该对象中包含了执行SQL语句的所有方法,类似于JDBC里面的Connection 。(2)Executor接口,它将根据SqlSession传递的参数动态地生成需要执行的S...

2020-04-26 23:52:39

B+树

这个问题是我在看视频的时候老师提到的,虽然之前知道他们各自的索引结构但是还没有研究过原因。在网上一搜答案特别多。但是都特别的啰嗦。于是总结了这篇文章。一、B-树和B+树的区别很明显,我们要想弄清楚原因就要知道B-树和B+树的区别。为了不长篇大论。我们直接给出他们的形式总结他们的特点。1、B-树B-树是一种自平衡的搜索树,形式很简单:这就是一颗B-树。针对我们这个问题的最核...

2020-04-26 23:43:27

Docker网络隔离模式和文件隔离系统详解

aufsaufs是一种实现了联合挂载(union mount)的文件系统,同unionfs类似,它能够将不同类型的文件系统透明地层叠在一起,实现一个高效的分层文件系统。说白了aufs就是能将不同的目录挂载到某一目录下,并将各个源目录下的内容联合到目标目录下,这里每个源目录对应aufs中的一层,用户在目标目录读写时,感觉不到此目录是联合而来的。aufs中的每一层都可以有不同的权限(只读,读写),...

2020-04-09 23:59:48

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。