北邮大数据-CSDN博客

原创上课地点安排-2015年北邮《海量数据处理中的云计算》课程公告

自2015年3月9日起，为便于使用试验环境，上课地点由教3楼237，调整到明光楼7层，北邮宽带网络监控教研中心会议室，请大家相互转告！

2015-03-06 15:08:30 861

原创 2015年北邮《海量数据处理中的云计算》课程预告

2015年北邮研究生课程《海量数据处理中的云计算》将于2015年3月2日开课。为帮助同学们达到理论+实践两手硬的效果，今年的课程进行重大改革，将采用MOOC+翻转课堂的形式进行。将采用小班教学，课外使用课程自建MOOC平台自学理论视频、依照实践视频下载Docker Image动手操作，课堂上进行小班讨论。以达到既掌握理论知识，又学会Hadoop相关技术组件实际操作的目标。

2015-01-29 22:08:13 910

原创手机用户操作系统喜好分析

实验室学生周游和张艳婷同学的作品，分析了手机用对不同操作系统的喜好和换机时的倾向，赞！

2014-12-15 22:16:03 1382

原创 2014年大数据处理课程设计演讲

下面是部分同学讲解课程设计的风采

2014-06-19 14:49:16 1727

原创专家讲堂系列：虚拟化和云中的大数据－路广（Vmware）

题目:虚拟化和云中的大数据摘要：随着大数据及相关应用的普及，如何将其虚拟化并置于云端运行成为企业关心的问题。这里将分享企业面临的挑战，VMware在此领域的最新进展，和我们所预见的发展趋势。专家简历：路广，现任VMware中国研发中心高级开发经理，负责领导vSphere Big Data Extensions开发团队的工作。他于2009年加入VMware中国研发中心，并曾先后负

2014-06-03 11:29:13 1418

原创 2014期同学参观北邮宽带网络监控教研中心

大家参观了Hadoop机房，听张燕申、凌艳、常月、尹劲松同学分别讲解了

2014-05-28 22:06:05 1421

原创北京邮电大学《Hadoop大数据处理》课程2014年讲义－C11.整合、管理与未来

北京邮电大学《Hadoop大数据处理》课程2014年讲义－C11. 整合、管理与未来下载链接：vdisk.weibo.com/s/avMylD7Wo2DE5

2014-05-21 13:25:37 1295

原创北京邮电大学《Hadoop大数据处理》课程2014年讲义－C10.Hive Pig

北京邮电大学《Hadoop大数据处理》课程2014年讲义－C9.HBase（3）下载链接：vdisk.weibo.com/s/avMylD7Wop6WA

2014-05-14 13:00:42 1109

原创北京邮电大学《Hadoop大数据处理》课程2014年讲义－C9.HBase（3）

北京邮电大学《Hadoop大数据处理》课程2014年讲义－C.HBase（3）

2014-05-07 13:24:16 1194

原创北京邮电大学《Hadoop大数据处理》课程2014年讲义－C8.HBase（2）

北京邮电大学《Hadoop大数据处理》课程2014年讲义－C8.HBase（2）下载链接：vdisk.weibo.com/s/avMylD7Wozdmu

2014-04-30 15:57:56 1057

原创北京邮电大学《Hadoop大数据处理》课程2014年讲义－C7.HBase（1）

北京邮电大学《Hadoop大数据处理》课程2014年讲义－C7.HBase（1）

2014-04-23 17:50:23 1332

原创北京邮电大学《Hadoop大数据处理》课程2014年讲义

Hadoop大数据处理讲义-C0. 课程介绍Hadoop大数据处理讲义-C1. 海量数据处理概论Hadoop大数据处理讲义-C1.2 海量数据处理概论(2)Hadoop大数据处理讲义-C2. Google核心云计算技术Hadoop大数据处理讲义-C2.2 Google核心云计算技术(2)Hadoop大数据处理讲义-C3. Hadoop体系架构Hado

2014-04-08 13:48:25 2227 2

原创 Windows下Cygwin环境的Hadoop安装（0）- 序言及步骤索引

正式的Hadoop生产环境，应该是在linux环境下部署，但是为了研究和实验方便，大家经常需要在自己常用的windows工作环境下安装hadoop。在windows下运行hadoop，通常有两种方式：一种是用VM方式安装一个linux操作系统，这样基本可以实现全linux环境的hadoop运行；另一种是通过cygwin模拟linux环境。后者的好处是使用比较方便，安装过程也简单。因为我是打算快速安

2014-04-06 22:24:25 1176

原创 Wordcount Combiner性能测试

在mapreduce程序的运行过程中，map阶段产生的数据存放在本地磁盘中，reduce阶段节点通过远程访问的形式读取进行下一步计算。如果能够减少map阶段产生的数据量就能够大幅度提升体统性能。Combiner是减少map阶段产生数据量的重要措施。本文档重点研究了combiner函数对于wordcount程序运行时间的影响。本文档的研究方法是：在运行wordcount程序过程中，针

2014-04-06 22:20:28 1342

转载在Eclipse上运行Hadoop程序，DistributedCache找不到文件缓存的问题

2014期李海波同学作品【原文链接】前一段时间在网上找了一个K-means算法的分布式实现，里面涉及到分布式缓存DistributedCache的问题，我在eclipse中运行MapReduce程序，运行后在命令窗口中明明显示分布式缓存已经建立，但是程序就是读取不到文件，网上各种查找方法，没有解决。后面我采用一种折中的办法，就是在每个Map或者Reduce中采用FileS

2014-04-06 22:16:01 2453

原创 Windows下Cygwin环境的Hadoop安装（4）- 在Eclipse中建立hadoop开发环境

在使用hadoop的过程中，不可避免地遇到一些问题需要对hadoop代码进行改进，这就要求我们必须建立一个可修改hadoop代码的开发环境，下面的过程，我们就来建立一个基于Eclipse的hadoop开发环境。- 安装AntHadoop的编译需要Ant的支持，从这里下载并安装最新的Ant：http://ant.apache.org/bindownload.cgi。安装完成后，别忘了将

2014-04-06 22:12:35 1004

原创 Windows下Cygwin环境的Hadoop安装（3）- 运行hadoop中的wordcount实例遇到的问题和解决方法

在前面的步骤中，我们已经建立了hadoop环境，下面该运行一个实例了，就拿hadoop自带的wordcount练手吧。- 建立本地数据文件在我们准备的hadoop本地文件夹data下建立一个data_in文件夹，并在此文件夹下创建两个数据文件，分别是file1.txt和file2.txt。file1.txt中保存一个句子：Hello world!file2.txt中保存一个句子：I

2014-04-06 22:08:32 1279 2

原创 Windows下Cygwin环境的Hadoop安装（2）- Hadoop安装和配置

在上一步安装好cygwin环境后，下面进入hadoop安装。 - 安装JDKHadoop运行需要jdk环境，我下载了最新的jdk7u5版本（http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1637583.html）在下面的列表中选择合适的版本，我选择的是Windows X86版本。

2014-04-06 22:07:42 1516 1

原创 Windows下Cygwin环境的Hadoop安装（1）- Cygwin安装和配置

在windows下通过安装cygwin模拟linux环境，然后再安装hadoop，是一种简单方便的方式。为hadoop准备的windows下cygwin环境安装过程如下：- 下载安装文件最新的cygwin安装文件setup.exe下载地址在这里：http://cygwin.com/install.html。用最新版本的cygwin就可以，我用的是2.774版本的安装程序。- 安装cyg

2014-04-06 22:06:21 1484

原创海量数据处理中的云计算课程设计PPT模版

课程设计模版参见附件

2014-04-01 17:11:58 1245

原创北邮大数据课程官方博客正式开通

欢迎大家在这里发布、交流基于Hadoop的海量数据处理心得体会！

2014-04-01 17:03:12 828

北邮大数据