1 Mr_Mei_666666

尚未进行身份认证

暂无相关描述

等级
TA的排名 173w+

快速将大数据(超过1T)导入mysql库

1、源数据超过1T,且都是sql文件,文件大小不等,有的文件大于100G2、硬件环境:一台liunx服务器,8核32G+5块1T的磁盘(a,b,c,d,e单块磁盘最大写入速度30M/S)3、mysql版本为5.64、要求:24小时内将数据全部导入问题分析:   考虑到导入过程中还会生成操作日志和索引等类容,数据导入后所需的存储空间将远大于1T, 单独一块磁盘肯定无法满足需...

2018-12-23 16:04:26

kafka适用哪些离线同步场景

一、源端为大量小文件,合并为一个大文件存储到hdfs   a)为什么要把小文件合并为大文件大量的小文件同步到hdfs,对namenode的压力非常大,生成环境是不会允许如此使用集群的。    b)为什么选kafkaproducer可以将文件内容转成消息发送到topic,相当于在数据传输过程对小文件进行了合并    c)consumer将消息直接写到hdfs还是...

2018-08-01 17:25:28

idea远程调试namenode

1、在hadoop-env.sh增加如下配置#hadoop远程debug配置#远程调试NameNodeexportHADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"#远程调试DataNode#exportHADOOP_DataNode_OPTS="-agent...

2018-04-20 10:42:24

Hbase 1.2 HA配置

在网上看到很多博客都说要配置backup-masters,实际上是不用配置的。1、配置Hbase集群使用自带的zookeeper还是另外的zookeeper集群,我使用的是自己单独搭建的zookeeper集群,配置如下hbase-env.sh#TellHBasewhetheritshouldmanageit'sowninstanceofZookeeperornot.e...

2018-04-03 21:04:27

hive 启动metastore服务自动建表报Specified key was too long; max key length is 767 bytes

查看/tmp/${user}/hivemetastore.log日志,发现报错的表的create语句的主键字段的长度为256,从报错提示来看,就是说主键太长了,查看hivemeta库的其他表的字符类型,发现为UTF-8,这就很明白了,为什么报错?因为256*3=768>767。查询其他资料,把数据库的字符集改为latin1可以解决问,我这次是初始化,meta库还没有数据,用下面的方

2018-03-30 11:51:44
勋章 我的勋章
    暂无奖章