12 bxyz1203

尚未进行身份认证

暂无相关描述

等级
TA的排名 1w+

博客迁移

在csdn安家已经3年多,最近想自己建设一个网站所以就弄了一个:fengshenwu.com/blog。还希望大家多多捧场我的个人博客啊。此个人站点会慢慢发展。。。不积跬步无以至千里,希望我能坚持下去写博客。这篇博客之前的所有博客都是从我以前的csdn博客站点导入的,所以很多存在格式问题,后面有时间再慢慢修改下。。。

2012-11-16 09:30:47

yarn(hadoop2)框架的一些软件设计模式

一、概述我们都知道,yarn版本的hadoop无论是从架构上面还是软件设计的层面上面都比原始的hadoop版本有较大的改进。在架构方面,我们认为yarn模式是新一代的框架,这个在官方等丛多的资料中说明得很详细了。在软件设计方面,我认为主要有以下的一些大的方面的改进:服务生命周期管理模式、事件驱动模式、状态驱动模式。这几个模式都写在hadoop-yarn-common中,接下来,我将详细说明这些

2012-11-01 08:13:38

2012杭州QCon全球软件开发大会所见所闻所悟

一、概述每次听完一些技术分享,都会写一篇分享,一方面也是我自己对论坛的一些总结,另一方面也是想把我自己的一些感受分享出来,上一篇是《2012年阿里技术嘉年华所见所感所悟》。这真是一个美好的时代,我们能从互联网上学习到这么多好的东西,也能参与这么多好的会议,这次特别感谢InfoQ。我这张票是部门给的,也特别感谢我的领导们。这三天我基本都在听,听了大约21场分享,感受还是比较多的,以下我主要就

2012-10-27 21:12:12

谈谈hadoop日志限制的问题

<!--table {border-spacing:1px; border:1pxsolid#A2C0DA}td,th {padding:2px5px; border-collapse:collapse; text-align:left; font-weight:normal}theadtrth {background:#B0D1FC; bo

2012-10-24 17:12:00

hadoop相关的一些技巧

分布式系统比普通程序开发有一些特别的难度,最主要的就是环境问题。本博客将记录怎么去解决这些问题,最主要的是一些脚本。后期会连续更新,目前最主要的技巧有:ssh打通:hadoop在部署的时候,各个机器之间肯定要打通,我们不可能手工去敲每一个命令。所以最好有一个脚本。https://github.com/lwwcl1314/apollo/blob/master/distrubutescri

2012-10-22 22:04:26

HADOOP2.0,Exception java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster

一、问题运行yarn的MR程序,发现出现问题,报错:Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/mapreduce/v2/app/MRAppMasterCausedby:java.lang.ClassNotFoundException:org.apache.hado

2012-10-21 14:34:59

hadoop2包结构及包功能大致介绍

一、概述hadoop2的设计细想比hadoop1进步了很多,毕竟hadoop1是几年前的东西了。软件设计的理论在这几年中发展很快,出现了很多的软件设计理论如:领域驱动模型、事件驱动模型、状生命周期管理等,也出现了很多的开源的解决方案,当然开源的方案很多都是起源apache社区。在hadoop2中,采取了maven的工程管理结构,把以前的单一工程换成了多工程结构模式,现在估计有45个(po

2012-10-19 14:29:29

编译hadoop2.0(0.23.0)及运行的一些问题

svnco http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.0.0-alphaxxxlinux:参考$HADOOP_HOME/BUILDING.txt及$HADOOP_HOME/hadoop-mapreduce-project/INSTALL(ps,我开始没有注意这两个文件,所以我以下都是一步一

2012-10-18 20:07:27

hadoop mr的数据流程交互简单描述

一、概述文章可能会重新编辑,如果想浏览最新内容请访问原创博客:http://blog.csdn.net/bxyz1203/article/details/8074248。由于作者个人知识面有限,如果描述有错误或者遗留之处敬请谅解,再欢迎指出,我们共同进步。二、计算流程MR计算框架发展到1.0.3左右,计算框架没有发展大的变化。在《hadoop TheDefinitiveGuide

2012-10-15 19:06:11

hadoop mr的一些文件归属(包括临时文件的存储情况)

一、概述一个计算的流程如下图所示,对于一个简单的wordcount的计算中,总共要经历哪些文件呢?本文将详细探讨这个话题。文章可能会重新编辑,如果想浏览最新内容请访问原创博客:http://blog.csdn.net/bxyz1203/article/details/8057810。由于作者个人知识面有限,如果描述有错误或者遗留之处敬请谅解,再欢迎指出,我们共同进步。本文分析的是0.19.

2012-10-10 20:01:48

hadoop日志简单分析

一、概述本文基于0.19.1分析得出,有一些是alibabahadoop优化的部分。本文不涉及jobtracker及nodename元数据的部分,本文主要讲述一个任务在计算阶段大致产生的一些日志,及日志的一些问题。二、日志简单介绍当所有的守护进程都起来后(为了简单起见,我们用的是伪分布模式,是由一个机器搭建的),大致的目录结构如下:[dragon.caol@hd19-vm1lo

2012-09-24 17:03:14

hadoop mr类图大纲

分析一框架,莫过于类图,近日,亲自画此类图。高清图:http://img1.ph.126.net/pngTQtip2YZ5JR_yqdNSmQ==/6597918589632662351.jpg主要分为:client、JobTracker、TaskTracker、TaskRunner、Clild。协调有的是通过RPC调用,有的是通过Shell命令调用。阻塞通过要

2012-09-02 21:01:55

hadoop 0.19.1 rpc代码分析

一、概述hadoop中mr类图大致如下所示,其中只是简单列出了一些主要的功能模块。JobConf、JobTracker、TaskTracker、RPCServer等组件。在图中,我用红色框框框出了一些基本的类。此图基本反映了MR的类图结构。一个简单的job在hadoop上面跑起来,基本可以分为10个步骤。如下图所示:hadoop都是用rpc框架来机器的

2012-08-30 13:30:09

一个简单的分阶段多任务处理实例

1、概述我们经常需要处理一个很耗时的任务,一般只有其中几步是十分耗时的,此时我们想到的是多线程来处理此任务。但是往往我们不能简单地把整个任务弄成多线程程序。如:文件的读取,文件的写入需要单线程处理(如果多线程处理需要加锁,此时性能没有单线程快)。为了解决此类问题,此我们可以用到,生产者与消费者的模式。本质上是StagedEventDrivenArchitecture的原型。2、具

2012-08-23 09:52:09

数据迁移脚本备案

一、概述最近做的一个项目,在很大的程度上面是在做数据迁移。数据迁移往往是项目最大的风险点。在一些大的重构项目中,往往会有一个团队专门负责,可见其重要性。在项目发布中,数据迁移往往会占用很多的时间。数据迁移需要考虑很多的情况,如:迁移方案、数据备份、迁移总时间、迁移时间点、迁移后check。二、一个例子项目是想把一个登陆id:member_id换成后台交互的ali_id。为此有一个map

2012-08-20 15:18:58

系统健壮性的思考

一、概述最近系统有两个故障都跟系统健壮有很大的关系。为此,我们不得不进行思考,如何提高系统的健壮性。系统在经过功能测试后,对于正常的业务数据处理往往没有任何的问题,但是对于一些异常的数据、异常的业务处理就会出现系统集群不可用等灾难性的问题。异常的数据一般是因为系统的数据修正引起,往往在存储方面就不符合业务一致性约束。对于一些有年代的系统,数据修正又不可少,在我就职的部门中,每天都在

2012-07-26 16:24:59

2012年阿里技术嘉年华所见所感所悟

一、概述这个周末参加了《阿里技术嘉年华》,这个可以说算是国内一流的免费交流会了。多个公司的技术牛人聚集在杭州共同探讨IT技术。当然很多是阿里的同学,不过也有百度、腾讯、网易,甚至还有小米、360、证劵交易所公司的同学。阿里提供了这个么好的舞台,非常感谢。也期待更多的公司来参加举行嘉年华。二、大致过程此次我主要在听iData、aDev与iDevOps专场的讲座。我还是对后端比

2012-07-08 21:23:17

批处理命令高级用法

为了一个应用,需要写bat脚本,纠结了我很长时间,以下是这段代码,基本涉及到bat的一些高级用法。备份下。SETLOCALDISABLEDELAYEDEXPANSIONfor/f"delims=>.*"all\pom.xml')dosetAPPNAME=%%ifor%%iin(ABCDEFGHIJKLMNOPQRSTUVW

2012-07-05 19:09:10

异常日志没有堆栈信息

昨天财务出现一个问题,线上一直在报错:日志截屏如下:有异常,但是就只有一个java.lang.NullPointerException异常,这个没有堆栈信息,我怎么查问题呢?后来经过查询,这个问题其实是跟JDK5引入的一个新特性有关,对于一些频繁抛出的异常,JDK为了性能会做一个优化,在JIT重新编译后会抛出没有堆栈的异常。在使用server模式的时候,这个优化是开启的,我们的服务器跑在ser

2012-07-03 20:35:39

用自己的电脑来架站(有限资源架站、零成本架站)

很多同学喜欢自己编写一个网页,但是苦于没有域名,公网ip及服务器资源,一直无法向外发布。本文简单讲下在一般情况大家都有的资源下,搭建站点的过程。三要素:域名、公网ip、服务器资源。域名:其实域名最好解决了,我们可以申请一些免费的域名,如:花生壳,一般注册了就可以得到一个免费的域名,当然大部分是二级域名。如果需要一级域名,一般是要付费的。年费其实也很便宜的。公网IP:我们大部分同

2012-06-26 22:02:28

查看更多

勋章 我的勋章
    暂无奖章