- 博客(194)
- 收藏
- 关注
RSS订阅原创 探索 Pexpect，第 1 部分：剖析 Pexpect
From: http://www.ibm.com/developerworks/cn/linux/l-cn-pexpect1/index.html 探索 Pexpect，第 1 部分：剖析 Pexpect 吕 学良 ([email protected]), 软件工程师, IBM丁 钦浩 ([email protected]), 软件开发工程师,...
2011-04-15 11:22:10
219
原创 HDFS 抛出错误 (java.io.IOException: config())
DEBUG [main] Configuration.<init>(211) | java.io.IOException: config() at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:211) at com.netqin.hdfs.MyHdfs.isExists(MyHd...
2011-04-07 14:56:45
312
原创 HBase vs Cassandra: 我们迁移系统的原因
HBase vs Cassandra: 我们迁移系统的原因原文: http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/原作者：Dominic Williams原文发布日期：February 24, 2010 at 7:27 pm译者：王旭（http://wangxu.me/blog/ ...
2011-04-01 14:52:10
203
原创 hbase 介绍
hbase 介绍一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop ...
2011-04-01 14:51:25
132
原创 HBase技术介绍
From:http://www.searchtb.com/2011/01/understanding-hbase.htmlHBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Googl...
2011-04-01 14:49:18
341
原创 HBase与BigTable的比较(翻译)
知，HBase是Google的BigTable架构的一个开源实现。但是我个人觉得，要做到充分了解下面两点还是有点困难的：一 HBase涵盖了BigTable规范的哪些部分？二 HBase与BigTable仍然有哪些区别？下面我将对这两个系统做些比较。在做比较之前，我要指出一个事实：HBase是非常接近BigTable论文描述的东西。撇开一些细微的不同，比如HBase 0.20使用Zoo...
2011-04-01 13:41:46
195
原创 Cassandra Vs HBase
Cassandra vs HBaseBy Vaibhav Puranik Translated By Jametong我们是一家广告网络公司.我们需要存储展示与点击信息.我们在为我们的新项目评估多个不同的大批量数据(或nosql,或任何你喜欢的称呼)系统.过去8个月中,我们一直在一个测试产品上使用HBase,并且满意它的表现,但是,最近Cassandra的风头很高,因此,我们决定对它做个测试.我认...
2011-03-31 17:27:33
215
原创 Slope one：简单高效的推荐算法
推荐系统最早在亚马逊的网站上应用，根据以往用户的购买行为，推荐出购买某种产品同时可能购买的其他产品，国内做的不错的当当网,有时候买书，它总能给我推荐出我感兴趣的其他书来，也算是技术极大的促进了销售。一般的协同过滤算法，首先是收集用户对事物（产品）的评分情况，一种直接对某本书，或者某个歌曲打分，另种是隐性的打分，比如商务系统中，购买了表示打2分，浏览了打1分，其他的0分。我比较看好隐性打分，...
2011-03-31 17:16:33
128
原创 Hadoop 状态分析系统Chukwa
http://hi.baidu.com/ops_bd/blog/item/5f39abde48a10f3f10df9b12.html Apache 的开源项目 hadoop， 作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时，集群自身的相关信息如何收集和分析呢？针对...
2011-03-31 16:50:15
148
原创 Hadoop安装， Hive 安装。
Hadoop安装指南 / Hive安装指南 Hadoop集群需要一个机器作为Master节点，其余的机器都是slave节点。HIVE只需在Master节点中安装和配置即可。 配置HadoopHadoop的配置比较简单，下面详细讲一下安装与配置步骤。以配置Hadoop 0.20.2版本为例。(1) 从hadoop官网上下载hadoop-0.20.2.ta...
2011-03-30 17:48:44
162
原创 Hive 的扩展特性
Hive 的扩展特性文章分类:Java编程Hive 是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：Text File，Sequence File内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text用户提供的 map/reduce 脚本：不管什么语言，利用 stdin/stdout 传输数据...
2011-03-30 15:54:50
134
原创 HIVE中map，array和structs使用
1：怎样导入文本文件（格式是怎样的？），2：怎样查询数据，已经能否在join中使用？在子查询中使用？等等知道怎么在hive中导入数组不？例如：我想把 数组[1,2,3] 和 数组["a","b","c"]导入到table1中create table table2 ( a array<int> , b array<string>);那么 我如何 导入呢？使得...
2011-03-30 15:25:11
199
原创 Hive 中UDF和UDAF简述
From: http://blog.csdn.net/dajuezhao/archive/2010/07/21/5753001.aspx一、UDF1、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格...
2011-03-30 15:24:10
125
原创 Hive 中 SerDe 概述
From: http://blog.csdn.net/dajuezhao/archive/2010/07/21/5753791.aspx一、背景1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。2、H...
2011-03-30 15:17:57
184
原创 做事遵循一个好的习惯
Habit 1:积极主动 Habit 2:以终为始 Habit 3:重者先行 Habit 4:互惠互利 Habit 5:知彼知己 Habit 6：团结协作 Habit 7:坚持不懈
2011-03-29 13:25:54
94
原创 Hive 与 Hbase 的简单区别
Hive是為簡化編寫MapReduce程序而生的，使用MapReduce做過數據分析的人都知道，很多分析程序除業務邏輯不同外，程序流程基本一樣。在這種情況下，就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapReduce，Hive中的表純邏輯表，就是些表的定義等，也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉，轉換成本低，類似作用的Pig就...
2011-03-28 11:10:49
148
原创 通过Thrift 方式访问 Hive
package com.netqin.hive.kpi;import org.apache.hadoop.hive.service.HiveClient;import org.apache.hadoop.hive.service.HiveServerException;import org.apache.log4j.Logger;import org.apache.thr...
2011-03-21 14:09:35
506
Hive 安装手册
安装Hive安装Hive是非常简单的，前提是你已经在你的机器上安装好了Java 1.6 Hive 可以从 http://hive.apache.org/releases.html下载到，最新版为0.6.0（2010-10-19） Hive的目录结构为 README.txt: readme 文件bin/: directory 包含所有Shell脚本...
2011-03-21 14:04:02
90
原创 Hive 日志
Hive日志存储在什么地方呢？ 打开Hive安装目录的 conf /hive-log4j.properties 文件。 hive.log.dir=/tmp/${user.name}hive.log.file=hive.log 这两行就表示了你的Hive中日志的存储目录，${user.name}是你在 服务器中启动Hive使用的用户名。 以后使用Hive...
2011-03-17 17:44:12
127
原创 The Google File System中文版
Google MapReduce中文版 译者：alex http://blademaster.ixiezi.com/2010/03/27/google-mapreduce%e4%b8%ad%e6%96%87%e7%89%88/ The Google File System中文版 译者：alex http://blademaster.ixiezi....
2010-10-09 20:34:20
150
Java对象缓存系统的实现，实现了LRU算法，并可以进行集群同步
LRU算法实现：package com.javaeye.xiaobian.jgroups;import java.util.LinkedHashMap;import java.util.Set;import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.ReentrantLock;...
2009-08-05 17:32:22
236
使用FireFox更加安全的访问网站
1.大家都知道https://mail.google.com 和 http://mail.google.com 的区别吧。https的方式就是从你的电脑中传递到网络上的数据是经过加密的。 http的方式是未进行加密的，如果有人拦截到你发送出的信息的话就可以以明文的方式显示进而可能被别人所利用。所以大家以后上网浏览信息的时候能用https:// 方式的绝不要用http:// 方式。 ...
2009-07-15 15:10:35
202
Unsupported major.minor version 49.0
http://www.blogjava.net/Unmi/archive/2007/12/04/165035.htmlUnsupported major.minor version 49.0一：要解决的问题 我 们在尝鲜 JDK1.5 的时候，相信不少人遇到过 Unsupported major.minor version 49.0 错误，当时定会茫然不知所措。因为刚开始那会儿，网...
2009-07-14 16:03:32
78
原创 Apache Commons Logging 是如何决定使用哪个日志实现类的
http://www.blogjava.net/Unmi/archive/2009/05/14/270708.html Apache Commons Logging 像 SLF4J 一样，是个通用日志框架，广泛应用在各个开源组件中。说其通用，是因为它本身只提供了简单的日志输出的实现 (org.apache.commons.logging.impl.SimpleLog和 org.apache...
2009-07-14 16:01:21
435
原创 迈克尔·杰克逊 的经典歌曲 Heal The World
演唱：迈克尔·杰克逊 专辑：《Dangerous》、《History》 歌：迈克尔·杰克逊 曲：迈克尔·杰克逊 被誉为“世界上最动听的歌曲”拯救世界(Heal the world)是一首呼唤世界和平的歌曲，十分优秀，歌词倡导人们保护和珍惜我们的环境，让战争远离，世界和平，我们的心中都有一个地方，那就是爱，让我...
2009-07-08 13:33:42
354
Spring Quartz 任务调度
要执行的任务类：CronTask package com.xiaobian.javaeye.timer;import java.util.Date;public class CronTask { public void execute() { System.out.println("\n++++++++++++++++++++++"); Sy...
2009-07-07 10:22:58
70
原创 程序员的5中层次，你属于哪一种呢？
1. 大师级程序员（Visionary/Artist Programmer/）大师级程序员是软件界绝对的稀有种族，他们可以创造出99.9%的程序员所创造不出来的东西。他们发明新的应用和软件模式来驱动软件产业的发展。 Napster, Netscape以及World Wide Web都是大师级程序员创造的。对他们而言，软件更多的是艺术而非科学。在这个级别，速度和质量不是最重要的，他们创造出的财富...
2009-07-03 16:39:47
131
原创 论坛列表
来自：http://www.wujianrong.com/archives/2009/06/post-1677.html http://people.sina.com.cn/forum.html 新浪网论坛000015 002 http://club.sohu.com/ 搜狐社区000020 003 http://bj.163.com/ 网易北京社区000043 004 http://bb...
2009-06-29 09:18:34
1625
利用java.util.concurrent包实现多线程开发
有一个网站列表，我们分别使用单线程和多线程来测试这个网站是否允许Ping，既是否ping这些网站能得到回应。 单线程，与使用了线程池的多线程之间的对比： package com.concurrent.demo;import java.io.BufferedReader;import java.io.InputStreamReader;import java.util...
2009-06-23 16:09:45
159
原创 压力值测试工具
写一下Siege,webbench,ab这几种压力测试工具的使用方法,心得Filed under: 运维管理, 运维辅助 | <!--<span class="comments"></span>-->Posted on 5月 12th, 2009 作者 admin 注:压力测试要区分基准测试,应用测试, 不同的应用有不同的表现, 基准测...
2009-06-16 10:23:28
174
Ngnix初探
Nginx是什么？ Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。谁在使用Nginx？ ...
2009-06-15 17:03:45
88
使用eclipse生成文档 javadoc
1，在项目列表中按右键，选择Export（导出），然后在Export(导出)对话框中选择java下的javadoc，提交到下一步。在Javadoc Generation对话框中有两个地方要注意的：javadoc command:应该选择jdk的bin/javadoc.exedestination:为生成文档的保存路径，可自由选择。按finish(完成)提交即可开始生成文档。2，...
2009-06-15 10:20:56
72
Java 日期类操作
java之中操作日期的类分别为： #系统的日期时间类import java.util.Calendar;import java.util.GregorianCalendar;import java.util.Date;import java.lang.System;#用于操作数据库日期时间的类import java.sql.Date;import java.sql.Time;i...
2009-06-11 14:43:20
124
留个记号。
Comparable Comparator具体区别 http://www.iteye.com/problems/3025 http://blog.sina.com.cn/s/blog_5573ee0d0100da45.html~type=v5_one&label=rela_prevarticle 集合类 http://blog.csdn.net/touch...
2009-06-10 16:01:06
89
Java中java.io.Serializable接口的应用
在Java中java.io.Serializable 用于实现对象的序列化而开发的接口。 java.io.Serializable接口是一个没有任何方法和属性的接口只提供一个标示的作用。 所有要序列化的对象都要实现Serializable接口。 未实现序列化接口的对象进行序列化的时候发生的错误。java.io.NotSerializableException: com....
2009-06-10 10:33:18
157
Java中的克隆功能的应用
在JAVA中对象的克隆有的时候是必要的，克隆分两种：浅克隆、深克隆。 浅克隆 指如果对象中含有非基本类型的成员，那么克隆的对象与源对象共用该成员的引用，即在两个对象中该成员的引用是一样的。这种克隆是相对意义上的克隆，克隆的对象与源对象并没有绝对的独立。 深克隆 指克隆的对象与源对象在所有的成员上都有不同引用，实现了绝对意义上的克隆。浅克隆比起深克隆来很容易实现。下面先...
2009-06-09 13:30:38
91
判断SQL注入的字符
判断SQL注入的字符[code="java"] public static boolean sql_Injection(String str) { String inj_str = "' and exec insert select delete update" + " count * % chr mid master truncate char declare ; o...
2009-06-08 13:13:25
371
原创 ThreadLocal的设计与使用（原理篇）
在jdk1.2推出时开始支持java.lang.ThreadLocal。在J2SE5.0中的声明为： public class ThreadLocal extends Object ThreadLocal是什么呢？其实ThreadLocal 并非是一个线程的本地实现版本，它并不是一个Thread，而是thread local variable（线...
2009-06-05 17:17:01
60
原创 CSS选择器
CSS选择器笔记阮一峰 整理参考网址：456 Berea Street一、基本选择器序号 选择器 含义1. * 通用元素选择器，匹配任何元素2. E 标签选择器，匹配所有使用E标签的元素3. .info class选择器，匹配所有class属性中包含info的元素4. #footer id选择器，匹配所有id属性等于footer的元素实例：...
2009-06-05 17:14:17
74
探索Java类加载机制
java虚拟【java.dll】存在于JRE目中下的bin目录下D:\Program Files\Java\jre1.5.0_13\bin\java.dll【我机器上的目录你的机器可能与此略有不同】 1． 预先加载与依需求加载Java 运行环境为了优化系统，提高程序的执行速度，在 JRE 运行的开始会将 Java 运行所需要的基本类采用预先加载（ pre-loadi...
2009-06-05 10:34:15
161
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人