5 cglThk

尚未进行身份认证

暂无相关描述

等级
TA的排名 13w+

深度分析Twitter Heron

转载longda对twitterheron的分析,包括跟storm、jstorm的对比,原文网址http://www.longda.us/?p=529深度分析TwitterHeron发表于2015年06月04日由longda如果有转载,麻烦保留原始链接?http://www.longda.us/?p=5292015年6月1号,Twi

2015-11-17 09:57:16

hive技术简介

最近接手的一个产品里面涉及到Hive,其实就是出数据报表的时候用到一句HiveQL,组员里面没有熟悉这个的,只是HiveQL写出来了,涉及如何优化、查询原理之类深入一点的就的都不了解了。需要快速入门,大概了解原理,网上找到一篇介绍,对hiveql执行过程分析的比较透彻,转载了下。我最近研究了hive的相关技术,有点心得,这里和大家分享下。  首先我们要知道hi

2015-09-08 17:50:28

有关linux下redis overcommit_memory的问题

redis使用中实际遇到过这个问题,转载下方便以后查询背景  公司的redis有时backgroundsavedb不成功,通过log发现下面的告警,很可能由它引起的:[13223]17Mar13:18:02.207#WARNINGovercommit_memoryissetto0!Backgroundsavemayfailu

2015-08-21 17:54:03

Apache Thrift - 可伸缩的跨语言服务开发框架

在看storm源码的时候,读到storm中用到的最底层的数据结构storm.thrift的时候,想去了解下thrift,这篇文章能对thrift的使用有个大概的了解,顺手转载了下。原文地址http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/index.htmlApacheThrift-可伸缩的跨语言服务开发框

2015-08-04 15:40:50

jvm运行时的数据区域

有些是jvm启动的时候被创建,jvm退出时被销毁,剩下的是伴随着线程的,线程创建时被创建,线程退出时被销毁。1.PC寄存器(programcounterregister)在任何一个时刻,一个jvm线程都只能执行一个方法,如果这个方法不是本地方法,pcregister就保存的现在正在被执行的方法的jvm指令地址,如果是本地方法,就没有定义。是唯一的一个在java虚拟

2015-07-06 10:31:45

storm-kafka常见问题(更新中)

1.报zookeeperNoNodefor/brokers/topics/topic_test/partitions,就是说DynamicBrokersReader.getNumPartitions()里面,topicBrokersPath这个路径在zookeeper里面找不到,topicBrokersPath= _zkPath+"/topics/"+_topic+

2015-05-19 14:24:18

linux的zero copy

许多web应用都会向用户提供大量的静态内容,这意味着有很多data从硬盘读出之后,会原封不动的通过socket传输给用户。这种操作看起来可能不会怎么消耗CPU,但是实际上它是低效的:kernal把数据从disk读出来,然后把它传输给user级的application,然后application再次把同样的内容再传回给处于kernal级的socket。这种场景下,application实际上只是作为

2015-04-27 16:47:58

jstorm部署

普通部署192.168.16.8,192.168.16.9,192.168.16.10为例一.Zookeeper1.下载zookeeper下载地址http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/ 2.解压到/home/hadoop/tar-zxvfzookeeper-3.4.6.tar.gz

2015-04-21 09:54:05

(转)深刻理解Linux进程间通信(IPC)

深刻理解Linux进程间通信(IPC)0.序1.管道1.1.管道概述及相关API应用1.2.有名管道概述及相关API应用1.3.小结1.4.参考资料2.信号(上)2.1.信号及信号来源2.2.信号的种类2.3.进程对信号的响应2.4.信号的发送2.5.信号的安装(设置信号关联动作

2015-04-20 17:57:31

java并发编程(一)类、接口和方法

多核的时代,所以面向多核编程很重要,所以java的并发跟多线程的开发就很重要。1.线程池WHY:复用线程,可以降低创建线程的开销,因为在线程执行结束后执行回收操作,不是真正去销毁线程。TestThreadPool.java,本地环境测试,线程中执行很简单,创建线程的开销占整个时间的比例较大,100000次运算的时候,ThreadPoolExecutor:Thread

2015-04-06 11:58:42

(场景)kafka的topic多分区的情况,如何保证跨区的消息消费的顺序性

这个问题严格来说是肯定有的,kafka只能保证分区内的有序性。如果onepartition->oneconsumer的话,就没这样的问题,但失去了并行。如果Npartition->Mconsumer,1.N2.N>M,这种情况,如何去消费多个partition的,kafka的消费机制要去研究下

2015-03-24 11:49:09

Kafka的Log存储解析

Kafka的Log存储解析标签(空格分隔):kafka引言Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到topic和pa

2015-01-28 11:16:52

storm性能优化(二)

1.异地机房的情况压力主要在传输(1)控制应用在一个机房(2)增大batch的size和轮询时间, 一次传输更多的内容(3)压缩内容

2015-01-21 11:45:20

storm启动问题解析Storm conf is not valid. Must be json-serializable

[hadoop@node3jstorm-logs]$jstormjar/home/hadoop/work/topology-0.0.1-SNAPSHOT-jar-with-dependencies.jarcom.chinamobile.jstrom.topology.BusinessBillTopology/data/MM_CDR/home/hadoop/sftp/60805/res

2015-01-07 13:35:42

kafka-storm spout拉取数据问题offset out of range(todo)

问题[WARN 2014-12-2920:40:52KafkaUtils:185ASpout:3-MultipleThreadSpoutExecutors]Gotfetchrequestwithoffsetoutofrange:[232];retryingwithdefaultstartoffsettimefromconfiguration.conf

2014-12-30 09:14:09

storm优化topology思路

细分spout/bolt。使其更贴近分布式,对不同的component灵活分配资源。对于grouping,尽量采用localgrouping,减少网络传输。localgrouping可以实现数据尽量在进程内传输,降低网络带来的开销。spout端优化,假如在topology中,处理瓶颈在spout端,而且你又不能增加spout的数量,可以试试修改spoutWaitStrate

2014-12-12 13:50:04

storm日志处理坑1

1.处理的日志前后有依赖的话,在分布式系统中,容易导致数据的不一致例:分钟级别的日志文件,要输出小时级别的统计结果的话,spout->calBolt->outputBolt在calBolt处理时间不一样,导致到outputBolt的顺序和spout有不一样的,就会发生错序的问题2.选用的netty同步通信机制,有可能javaNIO不同进程会发生通信死锁会在fail之

2014-12-12 11:45:46

Netty待解决问题

1.[WARN 2014-12-0814:05:19NettyClientSync:234client-schedule-service-8]Longtimenoresponseofi-18-213-VM/10.161.0.9:6805,33213s[WARN 2014-12-0814:05:20NettyClientSync:234client-schedu

2014-12-08 14:43:45

storm的tuple不丢失保证

1.IBasicBoltVs IRichBoltIBasicBolt中对应的BasicOutputCollectorimplement IBasicOutputCollector,接口没对外提供ack,fail,在BasicOutputCollector的emit的时候,会自动有toanchor的tuple。IRichBolt中对应的OutputCollectorimple

2014-12-04 16:11:38

kafka入门1-集群生产消息

./kafka-console-producer.sh--broker-listlocalhost:9092--topictopic1,报下面的错[2014-12-0214:16:21,565]ERRORProducerconnectiontolocalhost:9092unsuccessful(kafka.producer.SyncProducer)java.

2014-12-02 15:51:47
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!