- 博客(20)
- 收藏
- 关注
RSS订阅转载 深度分析Twitter Heron
转载longda对twitter heron的分析，包括跟storm、jstorm的对比，原文网址http://www.longda.us/?p=529深度分析Twitter Heron发表于2015 年 06 月 04 日由longda如果有转载， 麻烦保留原始链接?http://www.longda.us/?p=5292015年6月1号， Twi
2015-11-17 09:57:16
874
转载 hive技术简介
最近接手的一个产品里面涉及到Hive，其实就是出数据报表的时候用到一句Hive QL，组员里面没有熟悉这个的，只是Hive QL写出来了，涉及如何优化、查询原理之类深入一点的就的都不了解了。需要快速入门，大概了解原理，网上找到一篇介绍，对hive ql执行过程分析的比较透彻，转载了下。我最近研究了hive的相关技术，有点心得，这里和大家分享下。 首先我们要知道hi
2015-09-08 17:50:28
766
转载 有关linux下redis overcommit_memory的问题
redis使用中实际遇到过这个问题,转载下方便以后查询背景 公司的redis有时background save db不成功，通过log发现下面的告警，很可能由它引起的：[13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Background save may fail u
2015-08-21 17:54:03
553
转载 Apache Thrift - 可伸缩的跨语言服务开发框架
在看storm源码的时候，读到storm中用到的最底层的数据结构storm.thrift的时候，想去了解下thrift，这篇文章能对thrift的使用有个大概的了解，顺手转载了下。原文地址http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/index.htmlApache Thrift - 可伸缩的跨语言服务开发框
2015-08-04 15:40:50
679
原创 jvm运行时的数据区域
有些是jvm启动的时候被创建，jvm退出时被销毁，剩下的是伴随着线程的，线程创建时被创建，线程退出时被销毁。1.PC寄存器（program counter register）在任何一个时刻，一个jvm线程都只能执行一个方法，如果这个方法不是本地方法，pc register就保存的现在正在被执行的方法的jvm指令地址，如果是本地方法，就没有定义。是唯一的一个在java虚拟
2015-07-06 10:31:45
634
原创 storm-kafka常见问题（更新中）
1.报zookeeper NoNode for /brokers/topics/topic_test/partitions，就是说DynamicBrokersReader.getNumPartitions()里面，topicBrokersPath这个路径在zookeeper里面找不到，topicBrokersPath = _zkPath + "/topics/" + _topic +
2015-05-19 14:24:18
1927
转载 linux的zero copy
许多web应用都会向用户提供大量的静态内容，这意味着有很多data从硬盘读出之后，会原封不动的通过socket传输给用户。这种操作看起来可能不会怎么消耗CPU，但是实际上它是低效的：kernal把数据从disk读出来，然后把它传输给user级的application，然后application再次把同样的内容再传回给处于kernal级的socket。这种场景下，application实际上只是作为
2015-04-27 16:47:58
665
原创 jstorm部署
普通部署192.168.16.8, 192.168.16.9,192.168.16.10为例一．Zookeeper1.下载zookeeper下载地址http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/ 2.解压到/home/hadoop/tar -zxvfzookeeper-3.4.6.tar.gz
2015-04-21 09:54:05
1452
转载 (转)深刻理解Linux进程间通信（IPC）
深刻理解Linux进程间通信（IPC）0. 序1. 管道1.1. 管道概述及相关API应用1.2. 有名管道概述及相关API应用1.3. 小结1.4. 参考资料2. 信号（上）2.1. 信号及信号来源2.2. 信号的种类2.3. 进程对信号的响应2.4. 信号的发送2.5. 信号的安装（设置信号关联动作
2015-04-20 17:57:31
1406
原创 java并发编程（一）类、接口和方法
多核的时代，所以面向多核编程很重要，所以java的并发跟多线程的开发就很重要。1.线程池WHY：复用线程，可以降低创建线程的开销，因为在线程执行结束后执行回收操作，不是真正去销毁线程。TestThreadPool.java，本地环境测试，线程中执行很简单，创建线程的开销占整个时间的比例较大，100000次运算的时候，ThreadPoolExecutor:Thread
2015-04-06 11:58:42
1332
原创 (场景)kafka的topic多分区的情况，如何保证跨区的消息消费的顺序性
这个问题严格来说是肯定有的，kafka只能保证分区内的有序性。如果one partition -> one consumer的话，就没这样的问题，但失去了并行。如果N partition-> M consumer，1.N2.N>M，这种情况，如何去消费多个partition的，kafka的消费机制要去研究下
2015-03-24 11:49:09
16194
转载 Kafka的Log存储解析
Kafka的Log存储解析标签（空格分隔）： kafka引言Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和pa
2015-01-28 11:16:52
620
原创 storm性能优化（二）
1.异地机房的情况压力主要在传输（1）控制应用在一个机房（2）增大batch的size和轮询时间， 一次传输更多的内容（3）压缩内容
2015-01-21 11:45:20
1107
原创 storm启动问题解析Storm conf is not valid. Must be json-serializable
[hadoop@node3 jstorm-logs]$ jstorm jar /home/hadoop/work/topology-0.0.1-SNAPSHOT-jar-with-dependencies.jar com.chinamobile.jstrom.topology.BusinessBillTopology /data/MM_CDR /home/hadoop/sftp/60805/res
2015-01-07 13:35:42
2901
原创 kafka-storm spout拉取数据问题offset out of range(todo)
问题[WARN 2014-12-29 20:40:52 KafkaUtils:185 ASpout:3-MultipleThreadSpoutExecutors] Got fetch request with offset out of range: [232]; retrying with default start offset time from configuration. conf
2014-12-30 09:14:09
5829
原创 storm优化topology思路
细分spout/bolt。使其更贴近分布式，对不同的component灵活分配资源。对于grouping，尽量采用localgrouping，减少网络传输。localgrouping可以实现数据尽量在进程内传输，降低网络带来的开销。spout端优化，假如在topology中，处理瓶颈在spout端，而且你又不能增加spout的数量，可以试试修改spoutWaitStrate
2014-12-12 13:50:04
1519
原创 storm日志处理坑1
1.处理的日志前后有依赖的话，在分布式系统中，容易导致数据的不一致例：分钟级别的日志文件，要输出小时级别的统计结果的话，spout->calBolt->outputBolt在calBolt处理时间不一样，导致到outputBolt的顺序和spout有不一样的，就会发生错序的问题2.选用的netty同步通信机制，有可能java NIO 不同进程会发生通信死锁会在fail之
2014-12-12 11:45:46
1782
原创 Netty待解决问题
1.[WARN 2014-12-08 14:05:19 NettyClientSync:234 client-schedule-service-8] Long time no response of i-18-213-VM/10.161.0.9:6805, 33213s[WARN 2014-12-08 14:05:20 NettyClientSync:234 client-schedu
2014-12-08 14:43:45
515
原创 storm的tuple不丢失保证
1.IBasicBolt Vs IRichBoltIBasicBolt 中对应的BasicOutputCollector implement IBasicOutputCollector，接口没对外提供ack,fail，在BasicOutputCollector 的emit的时候，会自动有to anchor的tuple。IRichBolt中对应的OutputCollector imple
2014-12-04 16:11:38
578
原创 kafka入门1-集群生产消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic topic1，报下面的错[2014-12-02 14:16:21,565] ERROR Producer connection to localhost:9092 unsuccessful (kafka.producer.SyncProducer)java.
2014-12-02 15:51:47
8314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人