battybaby的博客

原创 kafka 重分布相关

这里写自定义目录标题kafka 重分布相关重分布注意点实现方案方案二实施步骤插入链接与图片kafka 重分布相关最近集群中有三个节点需要替换为新节点，为了不影响上下游，考虑在不改变topic名字情况下做重分布。重分布注意点reassignment是非常消耗资源的，所以，要么在off-peak hours做，要么在运行kafka-reassign-partitions的时候加上参数–throttle做一下限制。同时，我们建议分批做，不要一个reassignment包含大量topic。在运行k

原创 kafka相关参数调优

1. 消息大小限制调整message.max.bytes （broker配置）max.message.bytes （topic配置）可以在创建topic的时候增加这个配置：> bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my-topic --partitions 1 \--replication-factor 1 --config max.message.bytes=64000或者在现有的t

原创 Replica.fetch.max.bytes参数

Brokers会为每个分区分配replica.fetch.max.bytes参数指定的内存空间，假设replica.fetch.max.bytes=1M，且有1000个分区，则需要差不多1G的内存，确保 分区数*最大的消息不会超过服务器的内存，否则会报OOM错误。...

原创 kafka out of memory

当时看日志是out of memory，以为是主机内存不足，查看当时主机的内存情况如下，以为是可用内存太少导致的后来确认是JVM内存泄露导致的，虽然空闲内存比较少，但是交换内存即buff是可以利用的，所以机器本身的内存是充足的查看kafka中 broker_max_heap_size设置的仅为1G，即分配给java程序的内存仅1G，改为10G，解决，观察了一段时间没有再出现oom的报错修改为...

原创 hbase 刷新队列和文件描述符过高告警

5节点的hbase配置为虚机，8c16g，时常出现刷新队列和文件描述符过高告警，如下图，文件描述符的告警不会自动恢复基本上每周重启一次RegionServer，重启后刷新队列会降下来。1：刷新队列高是因为小文件比较多2：文件描述符高是因为打开的文件比较多处理方法：拟合并hbase文件，后面合并了再更新看看HBASE手动触发major_compact_刘本龙的专栏-CSDN博客_hbase major_compactHBase1.x精通：HBase大合并、小合并（原理、触发条件、影响

原创 kafka集群副本同步问题排查

kafka失效副本是什么，具有哪些应对措施，在某节点故障情况下kafka集群副本状态监控情况，如何确认集群副本已恢复正常，故障期间会对下游消费有什么影响

原创 发送kafka报错：buffered messsge send to kafka err：Message size TooLarge

程序报错如下：解决方案：调整kafka对单条消息的大小限制：message.max.bytes从默认1M调整为10M，10M是cdh建议的最大值了，调整过大会影响kafka的吞吐量,同时需要调整replica.fetch.max.bytes的值需要大于等于message.max.bytes，该参数为broker同步的消息大小限制，如果小于message.max.bytes可能会出现broker接收消息但是主副本无法同步从而造成数据丢失。（我们用着的cdh的管理在界面可以调整整个集群的默认参数，如

原创 PyCharm PyInstaller安装报错setuptools＞=40.8.0解决

报错如下,明明已经安装setuptools了，并且试了setuptools>=40.8.0和<40.8.0版本依旧报这个找不到对应的setuptools版本错误，后来自行手动安装成功，步骤如下1：安装了45.2的setuptools，（卸载其他版本使用 uninstall 命令）2：手工解压 PyInstaller的安装包，我用的是3.6版本3：PyCharm Termimal下执行1，进入解压后安装目录下，执行图中2命令安装4:如下图安装成功...

原创 PyCharm打包python文件为exe

1：安装pyinstall 模块2：PyCharm Terminal下切换目录到要打包的项目所在目录，执行命令 pyinsataller -H 要打包的py文件名3：打包后的文件在项目所在目录下的dist文件夹下

转载 python混合输出字符和数字

1 2 x = 3 print(x+"nihao") 这样会报错，号连接不会报错 1 2 x = 3 print(x,"nihao")

原创 Pycharm离线导入第三方模块

1：pypi下载安装包2：2：将安装包拷入到本地3：Pycharm下切换到包所在目录pip install 安装到解释器4：导入模块成功

转载 remote: HTTP Basic: Access denied fatal: Authentication failed for

使用git clone命令克隆gitlab上面的项目的时候，出现了remote: HTTP Basic: Access denied fatal: Authentication failed for类似字眼的错误其实搜索这个报错网上就有很多资料比如 –>https://stackoverflow.com/questions/44514728/http-basic-access-denied-fatal-authentication-failed大体的意思在管理员状态下的cmd输入git ...

转载 Centos Crontab查看状态和开启

# service crond statuscrond is stopped# service crond startStarting crond# service crond statuscrond (pid 20962) is running...git 自动拉取，写入日志# 自动拉取* * * * * cd /home/wwwroot/default/dexin/dragon/ && /usr/local/git/bin/git pul...

原创 实时计算运维相关

实时计算kafka运维kafka后台常用查询接口切换到kafka后台安装目录查看所有topic./kafka-topics.sh --list --zookeeper xx.xx.xx.xx:2181查看所有groupid./kafka-consumer-groups.sh --new-consumer --bootstrap-server xx.xx.xx.xx:9092 --list显示某个消费组的消费详情（支持0.9版本+）这个当前消费的offset是Unknown，好像是因为日志过期了

原创 linux测试服务器端口

1：telnet IP 端口号2：ssh -vv ip -p 端口号如下显示不通，通的话会显示connected

原创 sql统计数据某列的重复量

select 列名，count（*）from tablename group by列名；

原创 oracle根据表名查询所属的架构名

原创 idea中maven-scala-plugin：unknow

maven-scala-plugin：unknow原因：maven依赖包maven-scala-plugin下载失败解决方法：maven->clean 重新下载依赖包，log中可以看到maven-scala-plugin的重新下载进度，下载完成后，点击Maven Projects中的刷新图标，错误消失...

原创 idea中maven项目操作

idea中的maven项目相关操作在界面的最右侧小竖条，进去后可以点击相关功能进行maven项目的clean，update等操作

原创 高斯200

基本sql