dahaifeiyu-CSDN博客

翻译 flumebase介绍（一）

1.介绍FlumeBase是一个建立在Flume之上的数据驱动的流处理系统。这个系统允许用户动态的向数据收集环境插入查询并且监控被Flume收集到的事件流。这些查询可能是抽样调查输入的数据，也可能是指定固定的监控，也可能是数据转换或者是质量过滤任务。这些查询是用一个类似于SQ

2011-09-30 14:42:34 1880

原创 Hadoop源代码分析之Configuration配置

最近也觉得应该仔细的看一下Hadoop的源代码了，以前只是懂得基本的架构了使用，最近在做一个系统，觉得很多东西可以借鉴MapReduce的可扩展性。但是当我们的系统的0.1版本出现的时候才发现我们的配置上很混乱。于是我自己的看了一下Hadoop的Configuration类，真的

2011-08-03 08:58:43 2509 1

Kafka学习总结 一、Kafaka简介 Kafka是一个分布式的消息发布-订阅系统。它的特性如下： l 通过在O(1)的磁盘数据结构上提供消息持久化，对于即使数以TB的消息存储也能够保持长时间的稳定性能。 l 高吞吐：在商用机器上可以提供每秒数十万条的消息 l 支持在Kafaka服务器集群上进行messages分片，并在把messages在消费集群的机器上分配的同时维护每个分片的顺序信息。 l 支持将数据并行的加载到Hadoo

2011-05-31 08:23:00 5405

原创 Hadoop 集群的基准测试

多节点集群性能测试手记 测试时间：2010年7月18日测试地点：主楼B1-601测试人：王振飞 测试环境： 12个节点，每个节点的物理机配置为双核CPU，主频2.60Hz, 内存3G，硬盘250G，网络带宽100Mbps以太网，虚拟机VMware workstation 7.1.0 build-261024，平台RHEL5.5，内核版本2.6.18，，虚拟机配置为单核CPU，1G内存，Hadoop版本为0.20.2,在HDFS中每个文件块有3个备份。<

2011-03-03 11:20:00 2446 2

原创 Hadoop 集群的基准测试

2011-03-03 11:19:00 3250

原创 Vsphere WebService SDk4.0编程环境搭建（上）

虚拟化技术是云计算的基础架构关键技术。在业界Vmware公司引领了虚拟化的技术发展和推广。Vmware公司推出的Vsphere是业界第一个云操作系统，从esx、esxi到Vcenter、vcloud,Vmware为计算提供了从基础架构比如存储、网络、CPU等的虚拟化到上层应用服务的虚拟化，再到有关资源、安全等方面的管理虚拟化。Vmware公司除了以上这些外，还为我们提供了在Vsphere上开发相关的应用的编程方法，即是Vsphere sdk,现在这个SDK提供了在Vsphere上开发应用的编程接口。SDK的

2010-08-08 23:40:00 2847 2

原创 Linux下升级相关组件的问题解决

最近在红帽子下进行一些工作，需要安装一些软件，但是软件对系统中的一些依赖类库等一些东西有版本要求，比如安装torque就需要Python2.5.1，而系统自带的Python版本却是2.4的，想卸载Python2.4安装Python2.5，但是还有其他的一些软件也依赖Python2.4，把它卸载后，那些软件将无法正常使用。

2010-07-26 00:41:00 1414

原创 Hadoop的优势介绍

初识Hadoop1. 大量的数据目前我们以每天很大的信息增长速度积累着大量的数据，其中包括个人数据和工业数据。衡量数据的单位的增长也说明了数据的快速街垒。GBTBPBZB 2. 数据分析通过大量数据的分析我们可以获得更多有价值的信息，但与此同时如何分析如此规模之大的数据也成了一个很大的问题。针对读写速度慢的问题，可以采用分布式存储的方式（HDFS）提高读写速度。针对硬件故障可以通过存储冗余数据的方式来解决。针对如何正确的把分布在不同存储地点的数据加以整合分析，可以通过mapreduce以键值

2010-07-16 11:47:00 4542

原创 edhat 5.4部署完全分布多节点Hadoop集群

多节点集群Hadoop平台的搭建部署是建立在前面所说的单节点Hadoop的基础上的，其搭建操作主要集中在master主机上，slave主机中只做很少的修改就好了。一、单节点的搭建参照前面的文档在主机上首先实现单节点的搭建。并将单节点的虚拟机文件拷贝到每个要做节点的主机相应的目录上。这主要是保证每个节点的配置完全相同。二、有关网络的一些配置在搭建过程中，首先联网一定要保证主机ip是固定的，无所谓使用的是无线网络还是有线网络。对于无线网络，可以使用手动指定ip的方式保证ip的固定。虚拟机与物理主机的联网采用

2010-06-05 21:32:00 1899

原创 redhat 5.4部署单机伪分布Hadoop集群

2010-06-0 一、所需相关软件版本 RedHat enterprise 5.4，kernel 2.6.18; jdk 1.6update16.rpm.bin for linux;hadoop2.0.2，虚拟机VMware workstation 7.0.1 build-227600 二、设置RedHat Rpm源：http://rpm.pbone.net/ （注：算是比较全的了，rpm包很集中，下载方便） 1．解决中文乱码问题

2010-06-05 21:26:00 5561

原创硬盘安装win7中“安装程序无法创建系统分区，也无法定位系统分区”的问题！

因为笔记本的光驱坏了，一直装系统都是从硬盘上装，可是忽然有一次在按装win7的时候，提示“安装程序无法创建系统分区，也无法定位系统分区”的错误提示，按照网上的办法解决也没效果，后来把winpe里的安装工具都试了一下，有个NT6快速安装的软件，打开后按照提示安装竟然成了。以下是详细步骤。工具：杏雨梨云U盘系统，win7ISO安装镜像。1下载杏雨梨云U盘系统，制作U盘启动的winpe。2进

2010-05-03 18:27:00 17080 2

原创偶有感悟，写小诗一首

像风一样走过，追上时间的脚步。身边一切都是过客，留下零碎的花絮。像风一样走过，比不上时光的速度。

2010-04-17 13:27:00 810

原创 Java语言基础学习

一直觉得所有的语言中Java是最好的，就开始学了起来。希望记下这些，对自己和以后的学习者有帮助！当然这只是我个人的一点学习感悟，大牛到此可绕过，如有看法，不吝赐教。一门语言基本的逻辑结构和类型基本是一样的。所以我认为Java语言的基础学习应该从三方面入手，一个是你在程序中经常要操作的对象，比如各种数据类型，还有变量、数组、字符串等等，当然还有结构体、枚举或更重要的对象等

2010-04-17 12:06:00 1522 2