10 aliveTime

尚未进行身份认证

暂无相关描述

等级
TA的排名 2w+

nginx开启gzip

在nginx配置http节下:gzipon;gzip_proxiedany;gzip_typestext/plaintext/csstext/javascripttext/xmlapplication/xmlapplication/xhtml+xmlapplication/xml+rssapplication/json;gzip

2013-08-27 13:27:01

一次让人峰回路转, 颜面扫地的trouble shooting, Apache Pig

最近集群计算迁移,某Pig脚本在新集群上运行失败,排除了文件损坏等问题,还是每次复现失败.日志如下:表面原因是FileSystem被关闭,难道是Pig版本代码的bug,关闭了不该关闭的FileSystem?第一次尝试带着这个思路,写了btrace脚本跟踪DFSStream的close方法.脚本如下:importcom.sun.btrace.ann

2013-03-22 10:39:46

给分布式系统开发新人的建议

NotesonDistributedSystemsforYoungBloods原文链接:http://www.somethingsimilar.com/2013/01/14/notes-on-distributed-systems-for-young-bloods/Distributedsystemsaredifferentbecausetheyfai

2013-02-01 13:56:08

Spark 启动分析

Spark启动分析Spark进程:Master:负责集群资源分配.当Client请求资源时将请求分配给某个WorkerWorker:负责当前节点资源分配.当收到Master的LaunchExecutor命令时分配资源,启动ExecutorExecutorBackend:负责执行计算任务.由Worker启动.分为MesosExecutorBack

2013-01-22 17:12:53

java jps 失效问题

最近hadoop系统在升级后发现一个诡异的问题:jps命令返回的都是processinformationunavailable,jstack,jmap等所有使用attachapi的命令都有类似问题.以为是Jps有问题,查看Jps源代码,得知使用 jps-J-Djps.debug=true-J-Djps.printStackTrace=true可以获得J

2012-11-24 14:24:18

Apache Pig ObjectSerializer优化

最近又遇到一次TasktrackerOOM的问题,分析过程如下:1.用MemoryAnalyzer分析heapdump,如下图:发现又是大量的String类型的内存占用.进一步分析String的持有,如下:发现是JobConf对象持有了大量的string.这个已经不奇怪了,hadoop要放很多job相关的配置到JobConf中,很多JobTrac

2012-11-18 19:07:19

一个简单的日志收集

随着系统节点越来越多,看应用日志成为一个头疼的事情,所以想做一个应用日志收集.看了一下log4j的SocketAppender,居然使用java自带序列化,还不提供server,挺讨厌.倒不如自己写一个.系统需求如下:聚合多台服务器日志无过大性能损耗近实时提供log4j和erlang客户端简单用erlang实现了一个server地址:https://

2012-09-17 10:00:58

Apache Pig DataBag spill 文件过多导致OOM问题

最近又遇到Pigjob失败问题,将heapdump拉下来分析发现很可笑:怎么也不会想到一个DeleteOnExitHook也会导致OOM翻看java.io.File的源代码,如下:publicvoiddeleteOnExit(){ SecurityManagersecurity=System.getSecurityManager(); if(

2012-08-10 16:45:57

Java进程OutOfMemoryError与catch Throwable

如果java进程发生OOM,代码是否可以catch住这个异常?答案是可以的.测试代码如下:publicclassTestOOM{ publicstaticvoidmain(String[]args)throwsException{ intten_mb=1024*1024*10; intcount=10; newThread(){

2012-08-10 15:55:31

Apache Pig Reducer OOM 解决 -- Big DataBag

最近遇到一次Pig的reducer频繁OOM的问题,记录一下解决过程.问题描述有一段pig代码,示例如下: Data=groupSourceDataall; Result=foreachDatagenerategroup,COUNt(SourceData); storeResultinto'XX';简单的使用groupall后计

2012-07-10 18:33:47

Erlang Rebar 创建工程总结

Erlang的application类似Java中的工程,有两种类型:类库和独立运行的application.好比java中的单纯的作为其他项目的类库(如memcached客户端)和独立运行的工程(如hadoop),并且可运行的application也是可以作为其他application的依赖的.工程目录结构使用rebar创建工程时,两种application工程的

2012-07-08 22:56:30

erlang parameterized modules

最近在看mochiweb的源代码时,发现一个有趣的用法:当一个http请求到达时:mochweb.erl:%%@specnew_request({Socket,Request,Headers})->MochiWebRequest%%@docReturnamochiweb_requestdatastructure.new_request({Socket

2012-03-30 11:03:43

[curator] Netflix Curator 使用

curator简介Netflixcurator是Netflix公司开源的一个Zookeeperclientlibrary,用于简化zookeeper客户端编程,包含一下几个模块:curator-client-zookeeperclient封装,用于取代原生的zookeeper客户端,提供一些非常有用的客户端特性curator-framework-zookeeper

2011-12-25 15:22:24

Java GC 日志详解

JavaGC日志可以通过+PrintGCDetails开启以ParallelGC为例YoungGC日志解释如下(图片源地址:这里):FullGC(图片源地址:这里):一目了然,一图胜千言

2011-10-22 00:12:04

分布式压力测试工具

是否有这样的场景:公司需要选型某类产品,需要你来做压力测试。运维部门分给你几台服务器,剩下的自己搞定。请问:你是如何做压力测试的?如何获取性能参数、系统负载的?如果需要测试的产品是分布式的,需要N台client压M台Server,又怎么办?数据分析如何做?你是否是每次手动

2011-09-20 23:51:11

erlang app file 讲解

每个erlangapplication需要一个app文件,告诉erlangvm如何启动该程序。简单来说,格式如下:{application,ApplicationName,Properties}.其中,ApplicationName是一个atom(不知道如何

2011-09-06 15:08:38

最简单实用的profiler(适用于紧急排除线上故障)

    由于IDC的隔离性,在线上机部署YJP,JProfiler等GUI工具很是麻烦,尤其是排除线上故障的时候,一个简单实用的工或许能快速定位到问题,减少停机时间.    基于btrace写了一个最简单的profiler:快速profile某个类的所有public方法的执行时间并输出.   安装:   首先安装btrace,设置BTRACE_HOME环境变量

2011-06-19 17:42:00

突破 BTrace 安全限制

    普通情况下,Btrace脚本有诸多的限制:cannotcreatenewobjects.cannotcreatenewarrays.cannotthrowexceptions.cannotcatchexceptions.cannotmakearbitraryinstanceorstaticmethod

2011-06-16 15:24:00

hadoop 启动脚本start-all.sh执行序列

    针对hadoop0.21.0的启动脚本:start-all.sh,其执行序列图如下:(图片链接地址在这里)其中,几乎所有的脚本都会执行hadoop-config.sh因此在此图中没有画出注:hadoop0.21.0开始,新剥离了hdfs和mapred两个脚本。  

2011-06-12 00:52:00

系统吞吐性能优化简述

系统吞吐量优化模型简述

2011-06-02 18:42:00

查看更多

勋章 我的勋章
    暂无奖章