11 Moon_魔宽

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 24w+

HDFS纠删码

纠删码是CDH6/Hadop3引入的新功能,之前的HDFS都是副本方式容错,默认情况下,一个文件有三个副本,可以容忍任意2个副本(Datanode)不可用,是以牺牲空间的代价提供了数据的可用性,带来了2倍的冗余开销。例如1TB的数据,需要3TB的空间来进行存储。而纠删码可以在同等可用性的情况下,节省更多的空间。以RS-6-3-1024k为例,6份原始数据,编码后生成3份校验数据,一共9份数据,...

2019-10-12 12:37:57

大数据集群扩容机架分配

由于生产上大数据集群时常会扩容,而每次扩容完成后需要对新扩容的主机进行机架分配,涉及主机数量比较多时,通过手工分配耗时较长,因此编写如下脚本进行机架分配。第一部分:获取集群主机ID/IP地址/机架号#其中的v18根据http://IP:7180/api/version来查看curl -u '用户名:密码' 'http://IP:7180/api/v18/hosts'|python -c...

2019-09-16 23:39:57

Linux下大量TIME_WAIT分析

问题现象:应用反馈在通过beeline方式连接hiveserver2时程序报错:'Error:java.io.IOException(java.net.UnkownHostException:hostname)'在HiveServer2节点上ping部分计算节点[root@host HIST]# ping APING A.up (IP) 56(84) bytes of data....

2019-09-16 23:39:25

大数据-硬盘篇

对于大数据集群来说,master和slave一定要使用带RAID固件的磁盘。这类磁盘与消费级磁盘的主要区别是,一旦硬件出错,RAID固件马上失效,因此DataNode进程可以快速知道发生了故障。 对master节点来说,使用RAID主要是为了保护关键性的文件系统数据,通常配置是RAID1+0或RAID0+1;而对于slave来说,从Hortworks的文章来看并不建议使用RAID模式...

2019-09-16 23:38:53

一窥Java垃圾回收(GC)机制

想要理解java垃圾回收机制,首先要了解什么是垃圾回收,顾名思义,垃圾回收就是回收内存中不再使用的对象。主要分为两个阶段:1、查找内存中不再使用的对象2、将这些对象占用的内存释放首先来看第一个阶段【查找内存中不再使用的对象】判断方法有两种:引用计数法和根搜索算法引用计数法,当一个对象没有被任何引用指向,则视之为可回收的垃圾。根搜索算法,是通过一系列名为“GC Roo...

2019-09-16 23:34:20

HBase region拆分

【基本概念】HBase是以表的形式存储数据的。一张表被划分为多个regions,regions分布在多个Region Server上,单个region只能分布在一个Region Server节点上,不能跨Region Server存放。Region的两个重要属性:StartKey和EndKey,分别表示这个region所维护的rowkey范围。当做读/写请求时,寻址到该数据的rowkey落...

2019-09-16 23:33:47

MapReduce简明工作原理

MapReduce被称为开启大数据算法之门的钥匙,本文对MapRduce的工作原理作一个简明的介绍。MapReduce核心思想及框架在古代,人们采伐下来很多木头,需要用马来拉,但如果木头很多的话,用一匹马拉则不现实,这时,找一匹更强壮的马来拉显然不是一个好的办法,而会选择让多匹马来拉;对于大数据来说,也是一样的原理,超级计算机并不是最可行的解决方案,分而治之才是最佳选择,这就是MapRed...

2019-09-16 23:33:15

ImpalaD节点服务启动失败分析

现象描述:生产环境老离线集群(CDH5.2)的一台impalaD节点服务异常,CM页面显示该节点的服务并无异常。然而无论是客户端通过jdbc/odbc方式还是直接在该impala节点通过impala-shell来连接该节点都会报错(该集群impala未使用hiveserver2+haproxy+keepalive方案,客户端直连impalad节点):hostname:/tmp# imp...

2019-09-16 23:32:22

HDFS ACL权限控制

What is ACLACL(Access Control Lists,访问控制列表),Hadoop中的acl与unix中的acl机制(posix模型)基本相同,可以为文件或目录提供更精细化的权限访问控制。对于每个文件或目录而言,权限管理分为3个不同的用户类:owner,group和others。每个用户类有3种不同的访问权限:read,write,execute。当一个用户试图访问...

2019-09-16 23:31:50

大数据集群机房搬迁数据迁移

【一、背景】按照中心总体计划,目前部署在生产区的运营大数据集群需要搬迁至万国机房。本次采用的搬迁的方案是通过万国机房的72台物理主机上新建运营大数据集群,老集群应用数据同步至新集群的方式,之后应用进行迁移。确保数据不丢失,应用无感知。本次变更完成新集群的搭建以及存量数据的同步。本文只对数据同步方案进行展开。【二、迁移思路】1.搭建新集群2.将老集群中的数据全量拷贝到新集...

2019-09-16 23:31:01

HBase Region数据不一致

【背景】应用在进行bulkload将hfile导入hbase中报错:2019-04-03 11:27:18,509 [LoadIncrementalHFiles-2][org.apache.hadoop.hbase.client.RpcRetryingCaller:132] [INFO ] - Callexception, tries=20, retries=35, started=269...

2019-09-16 23:30:30

Hive数据迁移

【迁移背景】本次需要将老集群的hive数据(共30多张表)迁移至新集群中。老集群版本为CDH5.13,未启用kerberos;新集群版本为CDH5.14,启用了kerberos。由于cloudera官方文档说明,在5.x的版本不支持从未启用kerberos的集群与启用了kerberos的集群之间的数据复制。因此无法通过bdr方式进行数据同步。于是采用手工方式进行测试验证。第一步...

2019-09-15 23:01:40

HIVE数据迁移2

第一步:老集群节点上查看建表语句第二步:在新集群hive上建库建表注意location位置的命名空间要与新集群namenode的"Quorum Journal名称"参数保持一致此时在新集群通过hive查询,数据为空第三步,拷贝数据hadoop distcp -Ddfs.checksum.type=CR32C-log /tmp/discp2.txt -bandwid...

2019-09-15 23:01:07

sas访问nas存储性能变慢问题分析

背景2019年9月11日凌晨开始,sas应用访问nas(网络存储设备)性能变慢,多个部门反馈读取SAS共享存储的SAS数据集的时间是平时好几倍,原先每日不到一小时的日跑批报表今天跑了3个多小时,即访问nas性能变慢。问题分析sas应用ip分为两个网段,IP1.*和IP2.*。架构如下图所示:根据初步分析,我们观察到了如下几个现象:通过ll、df -h读取nas数据,184*...

2019-09-15 21:33:12

ESB调数据湖元数据库接口失败问题分析报告

背景2019年8月12日~8月13日,ESB调数据湖接口接连失败两次,ESB端报SocketTimeout异常,每次持续时间大约30分钟~1小时:java.net.SocketTimeoutException: connect timed out at java.net.PlainSocketImpl.socketConnect(Native Method)...

2019-09-15 21:14:57

HBaseregion RIT(Region-In-Transition)

背景:生产HBase集群有一个region长期处于RIT。解决方法:1、在一台zk节点上,登陆zkcd /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/zookeeper/bin[root@host bin]# ./zkCli.sh-server ip:21812、运行ls /hbase/region-i...

2019-09-15 21:12:33

hadoop-env.sh文件研究

该文件的主要是配置hadoop的环境变量。例如守护进程的JVM启动参数:java堆大小和垃圾回收策略等。在这个文件中还可以设置HBase配置文件的目录、日志目录、SSH选项、进程pid文件的目录等。# Set Hadoop-specific environment variableshere.# The only required environment variable isJAVA_H...

2019-09-15 21:11:23

HIVE数据迁移3

集群A上HIVE表数据需同步到集群B上,由于每张表做了日分区,传输部分日期数据,通过手工方式一一筛选比较复杂,编写脚本实现。#!/bin/shhdfs_src="hdfs://源集群NN地址:8020"hdfs_dst="hdfs://目标集群NN地址:8020"hadoop_cmd="hadoop distcp -update -bandwidth 50"declare -...

2019-09-15 21:10:32

HBase Major Compaction大合并

前言:大合并,就是将一个Region下的所有StoreFile合并成一个StoreFile文件,在大合并的过程中,之前删除的行和过期的版本都会被删除。大合并一般一周做一次,由于执行期间会对整个集群的磁盘和带宽带来较大影响,一般建议设置hbase.hregion.majorcompaction设为0来禁用该功能,并在夜间集群负载较低时通过定时任务脚本来执行。#!/bin/bash#auth...

2019-09-15 21:09:45

HBase使用的13条建议

一、通过预分区的方式建表在建表时对HBase进行region的预分区,这样就能避免热点,提高数据写入效率。比如,rowkey的前几位字符串都是从0001~0010的数字,这样就可以分成10个region,使用SPLISTS,如下:create't1','f1',{SPLITS=>['0001','0002','0003','0004','0005','0006','0007','00...

2019-09-15 21:08:33

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。