2 Mr_Mei_666666

尚未进行身份认证

暂无相关简介

等级
TA的排名 47w+

生产环境建议为 flannel 和 kube-apisever 分别配置 etcd 集群

由于以二进制方式部署的flannel是以etcdv2的方式访问etcd,而k8s的kube-apiserver是以etcdv3的方式访问etcd,在这种情况下,如果让他们都访问同一个etcd集群,正常情况下存、取数据都没问题,用etcdctl snapshot save 备份数据也没问题,但是在恢复数据时,etcdv2写入的数据会丢失,这是因为etcd v2和v3 的数据结构和实现逻辑完全不同导致...

2019-12-25 17:58:42

kubernetes-v1.16.0 源码分析之scheduler

调度逻辑预选节点(predicate)的并发数为 min(16,allNodes)filename pkg\scheduler\core\generic_scheduler.go:464func (g *genericScheduler) findNodesThatFit(pluginContext *framework.PluginContext, pod *v1.Pod) ([]*...

2019-11-14 16:46:28

快速将大数据(超过1T)导入mysql库

1、源数据超过1T,且都是sql文件,文件大小不等,有的文件大于100G2、硬件环境:一台liunx服务器,8核32G+5块1T的磁盘(a,b,c,d,e单块磁盘最大写入速度30M/S)3、mysql版本为5.64、要求:24小时内将数据全部导入问题分析:      考虑到导入过程中还会生成操作日志和索引等类容,数据导入后所需的存储空间将远大于1T, 单独一块磁盘肯定无法满足需...

2018-12-23 16:04:26

kafka适用哪些离线同步场景

一、源端为大量小文件,合并为一个大文件存储到hdfs      a)为什么要把小文件合并为大文件大量的小文件同步到hdfs,对namenode的压力非常大,生成环境是不会允许如此使用集群的。       b)为什么选kafkaproducer可以将文件内容转成消息发送到topic,相当于在数据传输过程对小文件进行了合并       c)consumer将消息直接写到hdfs还是...

2018-08-01 17:25:28

idea远程调试namenode

1、在hadoop-env.sh增加如下配置#hadoop远程debug配置#远程调试NameNodeexport HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"#远程调试DataNode#export HADOOP_DataNode_OPTS="-agent...

2018-04-20 10:42:24

Hbase 1.2 HA配置

在网上看到很多博客都说要配置backup-masters,实际上是不用配置的。1、配置Hbase集群使用自带的zookeeper还是另外的zookeeper集群,我使用的是自己单独搭建的zookeeper集群,配置如下hbase-env.sh# Tell HBase whether it should manage it's own instance of Zookeeper or not.e...

2018-04-03 21:04:27

hive 启动metastore服务自动建表报Specified key was too long; max key length is 767 bytes

查看/tmp/${user}/hivemetastore.log日志,发现报错的表的create语句的主键字段的长度为256,从报错提示来看,就是说主键太长了,查看hivemeta库的其他表的字符类型,发现为UTF-8,这就很明白了,为什么报错?因为256*3=768>767。查询其他资料,把数据库的字符集改为latin1可以解决问,我这次是初始化,meta库还没有数据,用下面的方

2018-03-30 11:51:44
勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。