- 博客(7)
- 资源 (48)
- 收藏
- 关注
RSS订阅原创 kafka partition在机器磁盘间的分布(源码分析系列小文)
前言:一个topic可以有很多个partition,而这些partition在整个集群中可以直观地看成一个二维坐标系，横轴代表集群中的不同机器，纵轴代表同一台机器上不同磁盘目录。 上一篇文章分析了partition如何在机器间分配,相当于我们已知横轴，那么我们怎么理解纵轴呢？也就是上一篇文章末尾说的剩下的事情交给kafka内部处理，这一节我们就来分析下kafka内部是如何处理。
2016-09-24 10:00:30
2952
原创 非jvm语言如何定制kafka api
需求背景: 使用node.js的前端同学需要在程序里动态创建kafka topic。毫无疑问肯定先从kafka官网或者github找，可是找到的都是基于kafka服务端开启auto.create.topics.enable然后模拟request请求来达到，这种方式的局限是无法设置自己需要的分区数和副本数(只能使用kafka服务端配置文件的固定参数)。还有一种方式可以通过跟shell交互模拟命令行创
2016-09-05 19:16:34
844
原创 Kafka集群平滑重启
最近修改公司线上kafka集群配置然后直接kill掉进程来重启集群发现所有生产者都无法写入数据导致丢了数据，栽了一个大坑，接下来的工作肯定是补坑找原因，就分享一下。系统环境说明：kafka版本为0.8.1.1，kafka集群配置为10.12.0.23:2181,10.12.0.24:2181,10.12.0.25:2181/kafka,因此在zookeeper中的根路径为：/kafka1.
2014-12-30 19:54:53
18436
原创 kafka0.8.1.1彻底删除topic并清空log内容
kafka0.8.1.1以及之前版本都无法使用类似一条命令就彻底删除topic，以前看过网上一些删除命令不过只是在zookeeper注销信息而已，但是实际的日志内容还是保存在kafka log中，因为个人需要所以慢慢琢磨了方法彻底清除topic（ps:kafka0.8.2好像直接支持直接删除，不过现在还是beta版 ）。本人机器环境如下：Kafka目录：/usr/local/kafka_2
2014-12-17 21:08:29
3235
原创 Python分析处理本机各项数据并以chartdirector图形化展示
本文是python应用的入门级别的基础学习文章，数据处理以最直观的方式实现，以后可以考虑优化。对于chartdirector的使用可以参看官网的英文说明文档，非常详细简明易懂。需要处理的数据格式如下：user1=({'eth0_outMbitps': 4.4299999999999997, 'eth1_outMbitps': 9.9700000000000006, 'eth0_outPac
2014-03-14 23:03:09
1693
原创 如何使用10M的内存读入100M的文件，并且保证在读取过程中可进行删除、修改和增加内容
这是几个月前我面试金山网络的校招题目，面试官的原题是：假设你的电脑内存是100M,现在让你去读取一个1G的电影，在看电影的过程中可以进行剪切或插入片段，你应该怎么去设计这个内存。说完后面试官就把一张纸一支笔放在我面前，然后自己拿出手机在那里玩游戏…… 那时到了面试结束我问面试官有没标准的答案，他说答案不能告诉我的，因为后面还有很多人面试，鄙人不才，目前还是一名学生，以下只是我分享一下自
2014-03-14 10:24:39
2378
转载 CentOS6.3环境下openresty安装drizzle模块
看过很多篇openresty安装drizzle，而且进行尝试都没有成功，经过多次尝试终于安装好了，虽然经过自己处理，但是原来的核心还是属于别人的，嘻嘻，进入正文：1.首先安装drizzle7-2011.07.21.tar.gzwget http://agentzh.org/misc/nginx/drizzle7-2011.07.21.tar.gztar zxvf drizzle7-2
2014-03-13 23:05:39
1115
asp.net mvc框架编写的绩效考评系统(可做毕业设计或课程设计)
2014-03-13
Asp.net mvc编写的人员管理系统(入门级别)
2014-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人