magicdreaming-CSDN博客

原创 ToolRunner与eclipse hadoop 插件的替代品，简化M/R程序的开发

目前开发的时候测试M/R程序有三种方式1. 直接打成jar包，然后放到服务器中去执行。此方法步骤繁琐，每次都要打包上传。2. 使用Hadoop的Ecilpse插件，但是对于N多的Hadoop版本总替换插件，是不是也是一种痛苦呢？3. 使用Hadoop的测试框架，这种情况我使用的比较少，感觉不太方便，每都相当于在本地启动各个服务（我电脑配置不好，压力啊！！汗一个

2012-09-11 12:44:44 2529

原创 String.split()方法的一点说明

今天在进行开发时结果总是不正确。调试发现如下内容：原字符串valStr="1.txt\\*\\&\\*5" 想拆分成1.txt与5，方法如下String[] splitVal = valStr.split("\\*\\&\\*");String rowkey = splitVal[0];可是实际结果却是没有拆分成功，结果还是splitVal.length=1

2012-07-31 16:23:16 989

转载 hbase的replication使用

原地址：http://koven2049.iteye.com/blog/983633hbase-0.90.0的一个重要改进是引入了replication机制，使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善，但是今后必然会变得更加重要。 hbase的replication机制很像mysql statement-based replication。它是通过WALEdit和hlo

2012-07-06 16:54:23 5293

转载 Mongodb VS Hbase

转载：http://hi.baidu.com/i1see1you/blog/item/a8038399d9a777286e068c8a.html1.Mongodb bson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样，h

2012-07-06 16:23:55 30353 3

转载 hadoop作业调优参数整理及原理

原地址：http://www.tbdata.org/archives/14701 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优

2012-06-18 15:44:54 1020

转载使用Hive读取Hbase中的数据

原地址：http://victorzhzh.iteye.com/blog/972406第一步，启动hadoop，命令：./start-all.sh第二步，启动hive，命令：./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hi

2012-06-18 14:29:08 2804

转载 Hadoop MapReduce容错性分析

转载自董的博客作者:Dong 网址:http://dongxicheng.org/mapreduce/hadoop-mapreduce-failure-tolerance/本文讲述Hadoop-0.21.0 以及以上版本中MapReduce的容错机制。包括JobTracker，TaskTracker，Job，Task，Record等级别的容错机制。1. JobTracker

2012-06-15 17:09:56 2806

转载关于NoSQL，你必须知道的九件事

翻译：http://blog.nosqlfan.com/html/1535.html原文：NOSQL DB BASICS FOR THE RDBMS-SAVVY本文提到的列表来源于一篇文章，文章标题是关系型数据库使用者必须知道的一些NoSQL知识。其中总结的九点NoSQL与RDBMS的区别联系非常不错。NoSQLFan为大家翻译在此。原文链接：NOSQL DB BASI

2012-06-15 14:48:20 609

转载关于HBase的一些零碎事

原地址：http://www.ningoo.net/html/2011/some_tips_about_hbase.html 目前稳定版本的HBase0.90.2只能基于Hadoop0.20.x系列版本，暂不支持最新的0.21.x。而且官方版本的Hadoop0.20.2（或者0.203.0）缺少一个重要的特性，HDFS不支持sync模式的持久，这样HBase就有较大的丢失数据

2012-06-15 13:14:53 494

转载 Region Server意外退出之后…

原地址：http://www.spnguru.com/2011/04/region-server%E6%84%8F%E5%A4%96%E9%80%80%E5%87%BA%E4%B9%8B%E5%90%8E/早晨上班好好的，突然nagios报出一台regionserver挂了。顿时忙碌起来。上去一看，从log中看到这样一条信息2011-04-08 04:02:22,083

2012-06-15 10:42:05 1400

转载 Linux和开源软件的商业化历程

原地址：http://www.oschina.net/news/19409/linux-opensource-commerceLinux和开源软件的商业化历程大致经历了以下几个阶段。1.萌芽阶段(1995年以前)在1995年以前，开源社区基本上没有考虑过商业化运行的问题。与开源软件有关的商业活动仅限于出售开源软件安装盘、书籍及印有开源软件标志的文化衫等小物品。但是这种商业行为当时

2012-06-14 13:49:35 1940

转载 Hadoop压缩算法说明与选择

原地址：http://yjhexy.iteye.com/blog/565334压缩是否支持多文件和分割：hadoop默认用压缩算法的本地实现===============================邪恶的分割线======================= 压缩是否有本地实现：hadoop的mapReduce算方法需要Splittable的压缩算法支

2012-06-13 10:10:37 2191

转载 Hadoop一些参数以及问题解悉

原地址：http://hi.chinaunix.net/?uid-9976001-action-viewspace-itemid-48380有时候DFSClient 操作hdfs总报连接超时的time out错，不一定都是因为网络原因造成，还有一种比较大的可能性是由于namenode的dfs.namenode.handler.count配置参数太低，默认为10。对hdfs和name

2012-06-13 10:06:34 1795

转载 redis.conf中文版（基于2.4）

原地址：http://my.oschina.net/liuxd/blog/61034?from=20120610# Redis示例配置文件# 注意单位问题：当需要设置内存大小的时候，可以使用类似1k、5GB、4M这样的常见格式：## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*

2012-06-11 09:39:32 837

原创 Hadoop杂解

Hadoop其他开发方法：HadoopStreaming 允许用任何 shell 命令作为 map 或 reduce 函数。libhdfs 是一种基于 JNI 的 C 语言版 API（仅用于 HDFS）。Hadoop Pipes 是一种兼容 SWIG 的 C++ API （非 JNI），用于编写 MapReduce 作业。 Map读入文件不会切割：自己完成InputF

2012-06-08 15:26:00 442

转载写给15岁的女儿

近日，乐嘉在发布一篇长文，题为《写给15岁的女儿》。他在文章中就恋爱、做人、学习、阅读等问题以信件的方式跟女儿交流，原因是“丫头你不知，爹也害羞，有很多话，一直没和你说，今日和你聊聊”。该文章被网友广泛转发和评论，不少网友表示，读了之后泪流满面，“刚读前两段就眼眶发热了”，“那颗慈父心让人感动”。　　文章里，乐嘉以一个正在过37岁生日的父亲的身份，寄语1

2012-06-04 10:46:45 7541

转载配置Hadoop的机架感知

原地址：http://datasearch.ruc.edu.cn/~boliangfeng/blog/?p=525我们都知道Hadoop的拓扑结构是机架感知的，这样在分配、请求数据副本时，可以根据机架感知的拓扑结构取得选取节点进行操作的权重（参考Hadoop拓扑结构中关于距离的定义）。事实上默认Hadoop是没有机架感知的，要想使用它，需要我们额外的配置，配置过程如下：首先修改na

2012-06-04 10:45:19 2320

原创为什么移动计算比移动数据更便宜？

首先我们要先弄清楚什么是移动计算，什么是移动数据。假如你是财务的经理，你手下有两名员工：负责商务的小李与负责研发部门的小王。每月统计各部门财务情况时，会发生以下两种情况：小李与小王是新来的，还不懂业务所有事都需要你来做，小李与小王能作的的工作就是将各部门的帐本每天记录好，并在月底交给你，你算出结果交给BOSS，这就是移动数据小李与小王每个月将自已负责部门的帐本记录好，你抽个时间教会

2012-06-03 23:09:09 3399 2

原创 M/R的数据源为HBase时须关闭Speculative Execution

在HBase使用Speculative Execution会加重regionserver的load。因为用Hadoop map/reduce操作HBase的时候，会尽量采用本地原则，即相应的task尽量使用本地的数据。而如果另起一个task，则会导致数据不在本地，凭空浪费IO和网络资源。强烈建议关闭 Speculative Execution 方法是在jobconf中设定

2012-05-30 15:40:04 1014

转载 Hadoop容错性

使用Hadoop来运行你的作业的其中一个主要原因就是它的高容错性，就算在由高失败率的节点或网络组成的大集群内运行的作业，Hadoop都可以让作业成功完成。　　Hadoop实现容错的主要方法就是重新执行任务，单个任务节点(TaskTracker)会不断的与系统的核心节点（JobTracker）进行通信，如果一个TaskTracker在一定时间内（默认是1分钟）无法与JobTracker进行通信，

2012-05-30 15:30:14 3462

转载 M/R推测性的执行（Speculative execution）

Hadoop系统有一个问题，它把任务分派到很多个节点，其中很有可能有一些慢的节点会限制剩下程序的执行速度。举个例子，如果有个节点内有一个比较慢的磁盘控制器，那它读取输入数据的速度可能只有所有其它节点的速度的10%。所以当99个map任务都已经完成了，系统仍在等待最后那个比较耗时的map任务完成。　　通过强迫任务独立运行于其它的任务，使得单个任务之间不会知道它们的输入数据来自哪里。任务相信Had

2012-05-30 15:29:09 3418

转载关于Java的23种设计模式的有趣见解

原文地址：http://my.oschina.net/wu2leng/blog/59790在网上看见了这篇文章，作者以轻松的语言比喻了java的32种模式，有很好的启发作用。好东西不得不转创建型模式1、FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”

2012-05-29 17:00:13 430

转载 JAVA String.format 方法使用介绍

原地址：http://www.cnblogs.com/xytop/archive/2008/08/26/1277125.html1.对整数进行格式化：%[index$][标识][最小宽度]转换方式我们可以看到，格式化字符串由4部分组成，其中%[index$]的含义我们上面已经讲过，[最小宽度]的含义也很好理解，就是最终该整数转化的字符串最少包含多少位数字。我

2012-05-27 15:44:05 347

转载为什么Firefox的Javascript速度无法超越其它浏览器

来源：http://software.solidot.org/article.pl?sid=10/03/05/0249220九尾火狐写道 "Firefox在速度上暂时落后于chrome safari和opera。原因并不是Mozilla技术差，而是因为其他浏览器支持的javascript，只是Firefox的一个子集，有很多东西，被其他浏览器忽略了。1) 只有Firefox支持E

2012-05-23 15:57:43 509

原创 java小程序

结果图：代码：import java.awt.Color;import java.awt.Graphics;import java.awt.event.MouseAdapter;import java.awt.event.MouseEvent;import java.io.IOException;import java.util.ArrayList;import javax

2011-06-02 14:34:00 646

转载 WIN7 tortoiseSVN安装后不显示svn图标的处理办法

打开注册表：HKEY_LOCAL_MACHINE/SOFTWARE/Microsoft/Windows/CurrentVersion/explorer/ShellIconOverlayIdentifiers，把TortoiseXXX的提前。

2011-03-07 09:52:00 5957 1

原地址：http://twaver.servasoft.com/?p=1259 闲话 到了第六刀，这股刚刚被掀起的Swing学习热情，似乎正如天上飘过的这朵小乌云，在狂暴的烈日暴晒中，已迅速消散殆尽。刚才驻足抬首、啧啧称奇的人群已经迅速消散，继续在每天忙忙碌碌中烦躁，浮躁中无聊。写程序的生活，似乎总少那么一丝颜色，一股激情，一抹精彩。 谈论别人的精彩使我们永恒的话题。可是精彩却从未在我们身上发生，这似乎成了我们普通人的宿命。程序员有一个聪明的大脑和颗追求精彩的年轻的

2010-09-06 11:51:00 3152

转载 JavaGUI应用程序发布&数字签名

原地址 http://twaver.servasoft.com/?p=1919 avaGUI应用程序部署 JavaGUI程序发布分类 1) Applet：可以嵌入到浏览器中，通过网页的方式展示给用户 2) application ：有两种发布方式 ü 打包成jar包通过bat的方式运行，或者通过第三方软件打成exe(后续会再详细介绍) ü 通过Java Web Start的方式发布到服务器端，通过JNLP运行

2010-09-06 11:19:00 1338

原创元素 float:right 后右对齐换行原因

当非float的元素和float的元素在一起的时候，如果非float元素在先，那么float的元素将被排斥 也就是说，你的span是float:right，但是你文本还是float:none 如果要让两者占据同一行:要么你把span先于文本显示：2007-08-18 （示例第3行）要么把文本也设成float：新闻新闻新闻</spa

2010-06-08 03:28:00 567

转载多种Spring.jar详解

Spring.jar是包含有完整发布的单个jar包，Spring.jar中包含除了Spring-mock.jar里所包含的内容外其它所有jar包的内容，因为只有在开发环境下才会用到Spring-mock.jar来进行辅助测试，正式应用系统中是用不得这些类的。除了Spring.jar文件，Spring还包括有其它13个独立的jar包，各自包含着对应的Spring组件，用户可以根据自己的需

2010-04-14 17:50:00 413

转载全面接触Java集合框架

　Java平台提供了一个全新的集合框架。“集合框架”主要由一组用来操作对象的接口组成。不同接口描述一组不同数据类型。 Java 2集合框架图　　集合接口：6个接口（短虚线表示），表示不同集合类型，是集合框架的基础。　　抽象类：5个抽象类（长虚线表示），对集合接口的部分实现。可扩展为自定义集合类。　　实现类：8个实现类（实线表示），对接口的具体实现。　　在很大程度上，一旦您理解了接口，您就理解了

2010-04-07 09:38:00 401

转载 Java集合类详解

http://pagead2.googlesyndication.com/pagead/show_ads.js" type="text/javascript"> 集合类说明及区别Collection├List│├LinkedList│├ArrayList│└Vector│　└Stack└SetMap├Hashtable├HashMap└WeakHashMapCollection接

2010-04-07 09:36:00 346

转载 Java的编译器给enum自动添加了哪些专用方法？

from Java Tutorial:Java programming language enum types are much more powerful than their counterparts in other languages. The enum declaration defines a class (called an enum type). The enum class bo

2010-04-02 16:10:00 843

转载 UML 继承、实现、依赖、关联、聚合、组合的联系与区别

http://blog.sina.com.cn/s/blog_53a99cf30100d8xi.html这是一堂关于UML基础知识的补习课；现在我们做项目时间都太紧了，基本上都没有做过真正的class级别的详细设计，更别提使用UML来实现规范建模了；本篇主要就以前自己一直感觉很迷糊的几种class之间的关系进行整理，让我们在真正用UML进行比如类图设计时能够更加清晰明了；以下就分别介绍这几

2010-03-26 10:47:00 450

转载网页栅格系统研究（3）：粒度问题

研究（2）中讨论了栅格系统的基础知识。这一篇将集中探讨栅格系统的粒度问题。（注：如非特别指明，栅格系统均指24列960栅格系统）淘宝的首页（截图）目前尚未严格遵守栅格系统，如果重构的话，宽度方向可以考虑采用下面的栅格布局（只考虑页面主体部分，忽略高度的比例）：（图1）纷乱的高度世界我们来看下图1左上角。左上角部分目前的宽度为256px, 重构的话可以将宽

2010-01-25 16:58:00 427

转载含中文字符的字符串长度校验

/** * 得到字符串的字符长度（一个汉字占两个字符长） */ function getBytesLength(str) { // 在GBK编码里，除了ASCII字符，其它都占两个字符宽 return str.replace(/[^x00-xff]/g, xx).length; } /** * 根据字符长来截取字符串 */ functi

2010-01-23 00:00:00 977

转载网页栅格系统研究（2）：蛋糕的切法

首先澄清一个应用场景问题。研究（1）中指出，对于结构复杂的网站，不少设计师们喜欢采用960固定宽度布局。但要注意的是，960并不是万能钥匙，大部分网站没有也不需要栅格系统。Amazon采用的是宽度自适应布局，最大限度的呈现信息。Google更是简简单单，主题部分就一个列表。eBay的页面非常简洁，商品页面宽度自适应，信息自然流畅，噪音少，购物很踏实。类似的站点还有很多，对于这些

2010-01-22 18:45:00 388

转载网页栅格系统研究（1）：960的秘密

研究网页栅格系统前，来看一组数据：网站首页页面宽度 pxYahoo!950淘宝950MySpace960新浪950网易960Live Search958搜狐950优酷960AOL960

2010-01-22 17:05:00 447

转载简单CSS hack：区分IE6、IE7、IE8、Firefox、Opera

方法一：跨浏览器的网页设计一直是让人很头疼的问题，这不只是因为浏览器的版本众多，还有一个重要的原因是相同浏览器的不同时期的版本也会有差异，甚至是在不同操作同台上还会有不同。因此使CSS hack技术进行浏览器区分是实现跨浏览器访问一个好方法。CSSHack技术有很多，具体可以查看：本文据说的主要是通过“.”，“>”，“*”，“_”来区分。以下是本人对

2009-08-30 23:00:00 545

转载 Asp.Net基于forms的验证机制

构建基于forms的验证机制过程如下： 1,设置IIS为可匿名访问和asp.net web.config中设置为form验证 2,检索数据存储验证用户，并检索角色(如果不是基于角色可不用) 3,使用FormsAuthenticationTicket创建一个Cookie并回发到客户端，并存储角色到票中，如： FormsAuthentication.S

2009-06-04 10:20:00 436 1