13 sulliy

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 1w+

Hadoop Map/Reduce教程

原文见http://blog.chinaunix.net/space.php?uid=20787846&do=blog&id=1842409目的这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见:Hadoop快速入门对初次使用者。Hadoop集群

2012-01-31 10:34:18

Hadoop本地模式

如何安装和配置Hadoop已经有很多资料可以查了,官方文档http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html。但是还是经常会出一些问题。本地模式是推荐的开发模式,在Windows上配合Cygwin容易出错。Hadoop的三种模式:单机模式伪分布式模式完全分布式模式分布式模式增加了Na

2012-01-08 14:10:24

PageRank的一个简单实现

public class PageRank { private BinaryData adjacencyMatrix = null; private double threshold = 0.000000001; private double alpha = 0.3; private double beta = 0.6; private double gamma = 0.1;

2011-12-28 14:22:51

Notepad++添加新语言支持

Notepad plus与语言相关的配置文件主要有:langs.xml - all the keywords of supported languages to be highlighted are in this file.langs.model.xml - A backup file?userDefineLang.xml - this file contains all the d

2011-12-06 16:16:02

Hadoop学习笔记

原文参见 http://www.distream.org/?p=384应用开发主要知识点如下:Configuration类(支持overwrite,variable $)测试(mock单元测试,本地测试,集群测试)    Tool, ToolRunner    集群测试(package, 启动job, Job web UI for nam

2011-12-03 00:11:32

Hadoop源码解析-作业执行流程-集群模式

前面讲到在集群模式时,submitJob将调用JobTracker的submitJob。JobTracker.submitJob()启动一个新的Job。该函数内部创建一个JobInProgress对象,它包含JobProfile和JobStatus两个对象。JobProfile的成员是MapReduce的一些属性信息。String user;  final JobID jobi

2011-12-02 23:48:47

Hadoop源码解析-作业执行流程-本地模式

执行一个作业有很多方法,这看两种方法:1. JobClient.runJob(conf); //JobConf2. job.waitForCompletion(true);//JobrunJob接受一个作业配置对象JobConf,然后初始化一个JobClient,作业的提交最终有依靠该对象。  public static RunningJob runJob(JobConf job)

2011-12-02 17:12:10

酱油HADOOP 1

有很多介绍Hadoop的资源,Hadoop自动的Doc文件夹中也包含很多学习文档,有中文版的。http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html 关于MapReduce的内容,建议看看孟岩的这篇MapReduce:The Free Lunch Is Not Over! import java.io.IOEx

2011-12-02 11:06:06

GOF23设计模式简介

Abstract Factory 抽象工厂模式——提供一个创建一系列相关或相互依赖对象的接口,而无需指定它们具体的类。 Adapter 适配器模式——将一个类的接口转换成客户希望的另外一个接口。Adapter模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。Bridge 桥接模式——将抽象部分与它的实现部分分离,使它们都可以独立地变化。 Builder 生成器模式——将一个复杂对象

2011-11-30 10:06:59

windows上用cygwin运行Hadoop

Linux上安装过程参考http://blog.csdn.net/sulliy/article/details/7014169Windows上安装还是主要SSH和Java JDK。详细的参考在 Windows上安装Hadoop教程主要问题在于开启HDFS后,本地文件和HDFS中的文件使用上,可能会遇到如下错误:java.io.FileNotFoundExceptio

2011-11-26 11:58:03

Hadoop安装指南

安装环境OS:Ubuntu Linux 8.0Java:sun-java 1.6.0.20Hadoop:hadoop-0.20.2安装Hadoop之前需要做一些准备工作,系统应该先安装Java和SSH,并且保证sshd一直运行,以便使用Hadoop脚本管理器远端访问Hadoop守护进程。 第一步:安装SSH使用OpenSSH,在配置好源的情况下,输入如下命令:sud

2011-11-26 11:33:50

与矩阵相关的C++,Java库

A generic, reusable, and extendable matrix class : http://www.codeproject.com/KB/architecture/ymatrix.aspx提供了一个可扩展的框架,比较适合学习,C++ 模板 JAMA, Java Matrix Package,  http://math.nist.gov/javanumeric

2011-10-27 14:26:09

给程序加上皮肤

http://www.codeproject.com/KB/library/USkin.aspx选择的是Uskin,它有免费版的,网上皮肤也比较多够用了。可以到上面的网页上去看示例下载。PS:百度搜索搜出一大堆Shit 用法很简单了:USkinInit(NULL, NULL, _T("mecd.u3"));USkinExit();在任何窗体调用显示前,调用上面第一句

2011-10-26 13:55:04

CFileDialog会修改工作路径

CFileDialog会修改工作路径的,记得调用时带有标志OFN_NOCHANGEDIR 教训啊

2011-10-19 17:32:08

CFileDialog保存时带有默认的文件名

CFileDialog saveFile = CFileDialog(FALSE, ".mecd", "", OFN_CREATEPROMPT | OFN_PATHMUSTEXIST , "Multi-Engine Case Designer Script (*.mecd)|*.

2011-10-17 11:39:29

马尔科夫链蒙特卡洛算法(MCMC)中的Gibbs采样

2011-10-16 17:45:41

REST架构

REST 定义了一组体系架构原则,您可以根据这些原则设计以系统资源为中心的 Web 服务,包括使用不同语言编写的客户端如何通过 HTTP 处理和传输资源状态。 如果考虑使用它的 Web 服务的数量,REST 近年来已经成为最主要的 Web 服务设计模型。 REST是一种轻量级的W

2011-10-16 00:08:51

LDA主题模型简介

版权声明:本文版权归原作者所有,未经许可不得转载。原文可能随时需要修改纰漏,全文复制转载会带来不必要的误导,若您想推荐给朋友阅读,敬请以负责的态度提供原文链接;点此查看如何在学术刊物中引用本文常规引用方式范建宁. LDA主题模型简介. 统计之都, 2010.10. URL

2011-10-09 13:57:03

乔布斯在斯坦福大学的演讲

Stanford Report, June 14, 2005‘You’ve got to find what you love,’ Jobs saysThis is the text of the Commencement address by Steve Jobs, C

2011-09-27 20:50:32

一个多线程队列模型

看看评价哈喃

2011-08-19 00:19:14

查看更多

勋章 我的勋章
    暂无奖章