自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

lylcore的专栏

  • 博客(3)
  • 资源 (22)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 如何在hadoop中控制map的个数

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。     为了方便介绍，先来看几个名词：block_size : hdfs的文件块大小，默认为64M，可以通过参

2013-06-20 13:56:16 26988 7

原创 如何去掉mapreduce自动添加的分隔符

我们在使用streaming模式的mapreduce开发程序的时候，经常会发现输出结果中被莫名其妙的添加了分割符，比如在一行的中间或者结尾多了一个Tab符号。尤其是输出只有一个字段的时候，末尾一定会被添加一个Tab符，看着十分恶心，而且有可能影响程序的正确性，所以我们一定要除掉他。    首先来看看他是怎么产生的。因为streaming版本的mapreduce，会将程序的输出按照key

2013-06-19 21:52:07 8821 2

原创 mapreduce出core处理

我们在使用hadoop的时候，会经常遇到程序崩溃的情况，比如程序出core（出core的时候会报134错误）。程序出core之后，我们希望得到程序的core文件，或者是错误日志。但是hadoop程序的运行时环境，一般在程序结束后，就会自动删除，所以很难直接得到core文件。 这里介绍几种方法，用于获取core文件：（1） 保留出错现场     设置hadoop的jobconf参数keep.

2013-06-19 21:33:38 1659

C++连接数据库代码
C++连接数据库的代码，包括完整程序示例以及类库。

2012-05-11

《C语言程序设计(第二版).pdf》
就是那本最经典的K&R 《C语言程序设计》

2012-05-11

协议分析器程序
协议分析器程序的源码，内含源程序和说明文档。

2012-05-11

基于cs模式的socket编程程序
基于cs模式的socket编程程序，很简单的cs连接，内含源码和说明文档。

2012-05-11

使用winpcap进行ip流量包分析程序
使用winpcap进行ip流量包分析程序，winpcap大家懂的，流量分析大家也懂的，内含源码和说明文档。

2012-05-11

tracert程序
tracert程序，获取到某一个ip地址所经历的路由器，内含源码和说明文档。

2012-05-11

使用ARP协议获取局域网内活动主机ip地址程序源码
使用ARP协议获取局域网内活动主机ip地址的源码，内含程序源码，可以执行文件和说明文档

2012-05-11

以太网帧解析程序
完整的以太网帧解析程序，使用C++完成，可直接运行，内含程序源码与说明文档。

2012-05-11

《hadoop可靠性研究报告.ppt》
百度内部的一个关于Hadoop可靠性报告的ppt，写的比较简单，不过还不错！

2012-05-11

《高质量C++编程指南》
林锐写的《高质量C++编程指南》，大家都懂的！

2012-05-11

《java5 英文手册》
java api 手册，英文版，大家都懂的。

2012-05-11

《java6 中文手册》
java6 的中文手册，jdk6的api手册，学java的人都明白的。

2012-05-11

c语言经典100例
c语言很经典的100个例子，有问题的描述，解决分析和代码！

2012-05-10

xml-security-bin-1_3_0.zip
在安装axis是需要 xml-security-bin-1_3_0.zip中的xmlsec-1.3.0.jar

2012-05-10

《hadoop权威指南》（英文版）
这本书就不用介绍了吧，学hadoop的人都知道的。不过《hadoop权威指南》的中文翻译有很多不尽人意的地方，可以参考英文版一起看，效果比较好。

2012-05-10

《hadoop开发者》第四期
《hadoop开发者》是由hadoop技术论坛推出的一套文档，特别适合hadoop初学者，在第四期中，主要是对于hadoop的zookeeper、海量数据处理和hadoop优化进行了介绍。

2012-05-10

《hadoop开发者》第三期
hadoop开发者》是由hadoop技术论坛推出的一套文档，特别适合hadoop初学者，在第三期中，主要是对于hadoop访问数据库，锁服务zookeeper和sector进行了介绍。

2012-05-10

《hadoop开发者》第二期
hadoop开发者》是由hadoop技术论坛推出的一套文档，特别适合hadoop初学者，在第二期中，主要是对于hadoop在网页检索和排序方面的应用，包括与Nutch的结合。

2012-05-10

《Hadoop开发者》第一期.pdf
《hadoop开发者》是由hadoop技术论坛推出的一套文档，特别适合hadoop初学者，在第一期中，主要是对于hadoop进行介绍，包括应用，安装，编程等。

2012-05-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除