java43135-CSDN博客

原创数据可视化工具

1.Chartle,http://www.Chartle.net Chartle是一个易于使用的基于网络的数据可视化应用，可以帮助你创建各种免费的表格、图形、地图、轨迹图、时间表。这个应用还可以保存、发布、内嵌可视化作品。费用：免费2.Creately,http://creately.com Creately 是一个可以在网页浏览器或者桌面上制作图表的信息设

2013-06-28 08:55:45 2466

原创大众点评在线笔试题目

最近一直在关注实习，不提前好好锻炼下。毕业后怎么能找到好工作。许久之前投了大众点评，昨天收到通知，26号在线做笔试。分为逻辑测试和专业测试。逻辑测试分为三个部分：语言，数学，图像；时间有点短，没怎么完成，就猜了呗。第二部分是专业测试，时间90分钟，由于是在线，甚至都可以百度的。以下为投产品的专业测试题：大众点评网2013实习生笔试原题——产品实习生以下题目为必答题

2013-05-26 15:46:38 6262 3

原创 Hive中Mapjoin的使用

顾名思义 MapJoin是在Map端完成Join操作，需要将Join操作中的小表读入到内存，在Map阶段拿另外一个表一个表的数据和内存中表数据做匹配，这种情况下即使笛卡尔积也不会对任务运行速度造成太大的效率影响。应用1：共同点：1、有个较小的表（2、需要做不等值join操作（a.x 而且hive的where条件本身就是在map阶段进行的操作，所以在where里写入不等值

2012-12-12 13:10:53 1224

原创使用Hive的注意点

1.字符集Hadoop和Hive都是用UTF-8编码的，所以, 所有中文必须是UTF-8编码, 才能正常使用。备注：中文数据load到表里面, 如果字符集不同，很有可能全是乱码需要做转码的, 但是hive本身没有函数来做这个2.压缩hive.exec.compress.output 这个参数, 默认是 false，但是很多时候貌似要单独显式设置一遍否则会对结果做

2012-12-11 15:30:01 1209

转载 Hadoop学习笔记之五：使用Eclipse插件

Hadoop学习笔记之五：使用Eclipse插件引言在开发调试过程中，需要将程序打包，运行任务后通过命令或web界面查看运行输出及job运行情况，这个比较繁琐，下面介绍的eclipse插件可以简化这个过程，方便调试。插件安装Hadoop的eclipse plugin跟hadoop发行版一起分发，到hadoop安装目录\ contrib\ecl

2012-11-30 10:38:30 582

转载 Hadoop学习笔记之四:运行MapReduce作业做集成测试

Hadoop学习笔记之四:运行MapReduce作业做集成测试引言通过本系列的前篇文章用MRUnit做单元测试介绍可以很容易对MapReduce进行单元测试，这很必要，可以较早的发现一些代码逻辑的问题。只有单元测试是不够的，我们需要对MapReduce任务进行集成测试，要进行集成测试，得先懂得如何将MapReduce 作业在hadoop集群中运行起来。

2012-11-30 10:36:06 861

转载 Hadoop学习笔记之三：用MRUnit做单元测试

Hadoop学习笔记之三：用MRUnit做单元测试引言借年底盛宴品鉴之风,继续抒我Hadoop之情，本篇文章介绍如何对Hadoop的MapReduce进行单元测试。MapReduce的开发周期差不多是这样：编写mapper和reducer、编译、打包、提交作业和结果检索等，这个过程比较繁琐，一旦提交到分布式环境出了问题要定位调试，重复这样的过程实在无趣，因此先对MapReduc

2012-11-30 10:34:14 1372

转载 hadoop学习笔记之二：MapReduce基本编程

hadoop学习笔记之二：MapReduce基本编程引言在本系列的上篇文章中介绍了Hadoop的基本概念和架构，本文将通过一个实例演示MapReduce基本编程。在继续进行前希望能重温下前面的内容，至少理解这张图是怎么回事。实践创建maven工程并加入hadoop依赖我们选用maven来管理工程，用自己喜爱的m2eclipse

2012-11-30 10:31:41 699

转载 hadoop学习笔记之一：初识hadoop

hadoop学习笔记之一：初识hadoop引言最近了解到淘宝使用hadoop的项目多了起来，hadoop对于许多测试人员来说或许是个新鲜玩儿，因此，把自己之前整理的学习笔记整理发上来，希望通过此系列文章快速了解Hadoop的基本概念和架构原理，从而助于hadoop相关项目的测试理解和沟通。Hadoop简介Hadoop 是一个实现了 MapRe

2012-11-30 10:24:05 619

原创 hadoop学习

学习hadoop已有较长一段时间：可能基础的薄弱性，进度有点慢。今晨在搜素资料看到淘测试一些文章，觉得很好，速转载：（1）自己学习；（2）与人分享；（3）文章相对基础，是个很好的引路；（4）作者于2010年所写，版本和当前不一样，有问题可参照其他；这是淘测试链接：www.taobeotest.com 谢谢原作者及阿里系。

2012-11-30 10:22:15 457

转载 HBase 线上问题分析小记

HBase 线上问题分析小记在7月初Tcon分布式系统测试实践的分享中，笔者提到了测试人员参与线上问题分析的必要性：1、测试工作中的问题定位提供了大量经验，可以直接应用于线上。2、快速的解决问题可以避免大故障的发生。3、从线上的问题可以帮助我们准确抓住测试的重点和不足。因此在日常的线上维护工作中，积累和很多HBase的问题分析经验，这里于大家分享一下，如有错误和不足请指出。问题

2012-11-30 10:02:34 800

原创 Hive安装出现的问题

Hive的安装比较简单：所需要的版本:hive-0.8.0有三种模式：内嵌模式、独立模式、远程模式暂时采用的是内嵌模式，稍后做真正应用的时候将采用独立模式，将元数据存储在MySql上遇到的问题：执行使用HWI时$export ANT_LIB=/opt/ant/lib$bin/hive --service hwi 出现问题：coin@had:~/hive-0.8

2012-10-21 20:44:30 1290

原创利用sqoop从sqlserver导入数据到HDFS或Hive

SQL Server Connect for Hadoop sqoop是一个开源的工具，能将数据表从关系数据库导入HDFS或Hive上。在安装sqoop之前，需安装好Hadoop和JAVA以及Hive。 sqoop的安装：sqoop的版本： sqoop-1.3.0-cdh3u1 (sqoop-1.3.0-cdh3u1.tar.gz) http://archive.cl

2012-10-19 21:16:41 4908

翻译 Databases in Hive

Databases in Hive1.如果在hive中未定义数据库的话，这个“default”作为默认的数据库。2.创建数据库的语法很简单：hive> create databasefinancials; 如果financials存在的话,就会抛出错误，可以这样：hive> create databases IF NOT EXISTS financials;3.在“d

2012-10-19 13:55:19 6669

java43135的专栏