Suntoma-CSDN博客

原创 KAFKA随机产生JMX 端口指定的问题

由于测试环境的kafka集群是在私有云的资源池上开的三台虚拟机，而且很多端口都没有开发，所以在搭建kafka服务的时候需要指定开放哪些端口，zk用的是kafka自带的zk启动的，我们在正常开放了2181、9092以及我们指定了JMX_PORT的9999三个端口外，发现远程监控程序无法连接kafka的JMX进行监控，于是我们看了一下kafka占用的端口：ss -ltnp | grep ${kaf...

2018-08-30 10:55:04 4240

原创 filebeat+ELK搭建

filebeat安装安装环境：filebeat-6.3.1-linux-x86_64下载地址：https://www.elastic.co/downloads/beats/filebeat 安装步骤：1.上传介质：filebeat-6.3.1-linux-x86_64.tar.gz解压：tar zxvf filebeat-6.3.1-linux-x86_64.t...

2018-07-26 16:04:13 650

原创关于flume Header头信息乱码解析问题

在生产环境消费kafka传输过来的flume的采集信息的时候，发现flume的header的头信息有乱码现象出现，例如<0x04><0x10>hostname<0x1a>wangdong-test<0x10>filename<0x1a>test-log.....这种现象导致我们在写消费者程序的时候，无法通过正常格式化json的方式或者...

2018-07-26 15:07:07 2467

原创利用storm个性化存储hdfs（更改storm-hdfs插件源码）

在项目过程中，有这样一个需求，需要用storm消费实时流日志，存储hdfs，如果伙伴们要是抱着自己开发存储的心态去做，可能会耗费一定的开发周期,比较不划算，因为官方做了一个storm-hdfs的开发包供storm使用者轻松开发storm程序存储hdfs，但是这个包中是按固定路径去存储的，在实际生产业务中，我们往往会有利用tuple中的字段作为存储路径的需求，这样的话，只需要重写一个...

2018-07-26 15:03:13 438

原创利用storm1.0的窗口机制做pv统计（二）

在第一版里我着重的讲述了如何利用storm1.0带的窗口机制来做pv统计，而在（二）里面，我是基于（一）的升级，首先我还是来描述一下业务场景：随着业务高峰期的到来，kafka中计算数据的qps急速增加，而计算资源的紧张导致cpu也直线飙升，所以计算延迟，服务down掉的情况时有发生，这时通过对每一个bolt执行时间的监控，发现了问题，（一）的数据落地在mysql中，...

2018-07-26 14:55:52 477

原创 kafka权威指南阅读笔记（二）

1.kafka生产者组件图我们从创建一个 ProducerRecord 对象开始， ProducerRecord 对象需要包含目标主题和要发送的内容。我们还可以指定键或分区。在发送 ProducerRecord对象时，生产者要先把键和值对象序列化成字节数组，这样它们才能够在网络上传输。接下来，数据被传给分区器。如果之前在 Produc巳rR巳cord对象里指定了分区，那么分区器就不会...

2018-05-24 16:29:56 371

原创 kafka权威指南阅读笔记（一）

1.如何为主题选定分区数量：为主题选定分区数量并不是一件可有可无的事情，在进行数量选择时，需要考虑如下几个因素。· 主题需要达到多大的吞吐量?例如，是希望每秒钟写入 100KB 还是!1GB? . 从单个分区读取数据的最大吞吐量是多少?每个分区一般都会有一个消费者，如果你知道消费者将数据写入数据库的速度不会超过每秒 50MB，那么你也该知道，从一个分区读取数据的吞吐量不需要超过每秒 50M...

2018-05-23 16:37:28 520

原创利用storm1.0的窗口机制做pv统计（一）

近期需要用storm（1.0版本）做pv统计，现在通过博客把topology的设计，coding，和上线调优的过程记录下来，留着给做相关事情的小伙伴阅读一下。一. 首先叙述一下业务场景，网站的访问信息被网关层nginx记录下来，nginx日志以json的数据结构发到我们的kafka消息队列中，需要利用storm实时处理平台去fetch数据，将数据指标按照不同的访问域，不...

2018-04-15 23:39:58 1313

原创互联网成长之路开启,职场第一次重要选择

博主今年是工作接近三年，之前在一家国内知名解决方案类的IT公司做实时计算方向上的项目，在这期间积累了一些大数据生态圈的兴趣与经验，现在换到一家互联网垂直领域的公司继续做相关方向的工作，只是应用场景不在是给甲方做需求架构，而是转为给自己公司，自己产品做架构，做服务，这种感觉就像是，一个婴儿保姆，突然自己怀孕了一样。其实博主一直是一个非常热爱技术和热爱学习的人，博主的人生梦...

2018-04-01 12:40:46 250

Suntoma的博客