sulliy的专栏

转载 Hadoop Map/Reduce教程

原文见http://blog.chinaunix.net/space.php?uid=20787846&do=blog&id=1842409目的这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见：Hadoop快速入门对初次使用者。Hadoop集群

原创 Hadoop本地模式

如何安装和配置Hadoop已经有很多资料可以查了，官方文档http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html。但是还是经常会出一些问题。本地模式是推荐的开发模式，在Windows上配合Cygwin容易出错。Hadoop的三种模式：单机模式伪分布式模式完全分布式模式分布式模式增加了Na

原创 PageRank的一个简单实现

public class PageRank { private BinaryData adjacencyMatrix = null; private double threshold = 0.000000001; private double alpha = 0.3; private double beta = 0.6; private double gamma = 0.1;

原创 Notepad++添加新语言支持

Notepad plus与语言相关的配置文件主要有：langs.xml - all the keywords of supported languages to be highlighted are in this file.langs.model.xml - A backup file?userDefineLang.xml - this file contains all the d

转载 Hadoop学习笔记

原文参见 http://www.distream.org/?p=384应用开发主要知识点如下：Configuration类（支持overwrite，variable $）测试（mock单元测试，本地测试，集群测试）    Tool, ToolRunner    集群测试（package, 启动job, Job web UI for nam

原创 Hadoop源码解析-作业执行流程-集群模式

前面讲到在集群模式时，submitJob将调用JobTracker的submitJob。JobTracker.submitJob()启动一个新的Job。该函数内部创建一个JobInProgress对象，它包含JobProfile和JobStatus两个对象。JobProfile的成员是MapReduce的一些属性信息。String user;  final JobID jobi

原创 Hadoop源码解析-作业执行流程-本地模式

执行一个作业有很多方法，这看两种方法：1. JobClient.runJob(conf); //JobConf2. job.waitForCompletion(true);//JobrunJob接受一个作业配置对象JobConf，然后初始化一个JobClient，作业的提交最终有依靠该对象。  public static RunningJob runJob(JobConf job)

原创 酱油HADOOP 1

有很多介绍Hadoop的资源，Hadoop自动的Doc文件夹中也包含很多学习文档，有中文版的。http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html 关于MapReduce的内容，建议看看孟岩的这篇MapReduce:The Free Lunch Is Not Over! import java.io.IOEx

转载 GOF23设计模式简介

Abstract Factory 抽象工厂模式——提供一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类。 Adapter 适配器模式——将一个类的接口转换成客户希望的另外一个接口。Adapter模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。Bridge 桥接模式——将抽象部分与它的实现部分分离，使它们都可以独立地变化。 Builder 生成器模式——将一个复杂对象

原创 windows上用cygwin运行Hadoop

Linux上安装过程参考http://blog.csdn.net/sulliy/article/details/7014169Windows上安装还是主要SSH和Java JDK。详细的参考在 Windows上安装Hadoop教程主要问题在于开启HDFS后，本地文件和HDFS中的文件使用上，可能会遇到如下错误：java.io.FileNotFoundExceptio

原创 Hadoop安装指南

安装环境OS：Ubuntu Linux 8.0Java：sun-java 1.6.0.20Hadoop：hadoop-0.20.2安装Hadoop之前需要做一些准备工作，系统应该先安装Java和SSH，并且保证sshd一直运行，以便使用Hadoop脚本管理器远端访问Hadoop守护进程。 第一步：安装SSH使用OpenSSH，在配置好源的情况下，输入如下命令：sud

原创 与矩阵相关的C++，Java库

A generic, reusable, and extendable matrix class ： http://www.codeproject.com/KB/architecture/ymatrix.aspx提供了一个可扩展的框架，比较适合学习，C++ 模板 JAMA， Java Matrix Package,  http://math.nist.gov/javanumeric

原创 给程序加上皮肤

http://www.codeproject.com/KB/library/USkin.aspx选择的是Uskin，它有免费版的，网上皮肤也比较多够用了。可以到上面的网页上去看示例下载。PS：百度搜索搜出一大堆Shit 用法很简单了：USkinInit(NULL, NULL, _T("mecd.u3"));USkinExit();在任何窗体调用显示前，调用上面第一句

原创 CFileDialog会修改工作路径

CFileDialog会修改工作路径的，记得调用时带有标志OFN_NOCHANGEDIR 教训啊

原创 CFileDialog保存时带有默认的文件名

CFileDialog saveFile = CFileDialog(FALSE, ".mecd", "", OFN_CREATEPROMPT | OFN_PATHMUSTEXIST , "Multi-Engine Case Designer Script (*.mecd)|*.

原创 马尔科夫链蒙特卡洛算法（MCMC）中的Gibbs采样

原创 REST架构

REST 定义了一组体系架构原则，您可以根据这些原则设计以系统资源为中心的 Web 服务，包括使用不同语言编写的客户端如何通过 HTTP 处理和传输资源状态。 如果考虑使用它的 Web 服务的数量，REST 近年来已经成为最主要的 Web 服务设计模型。 REST是一种轻量级的W

转载 LDA主题模型简介

版权声明：本文版权归原作者所有，未经许可不得转载。原文可能随时需要修改纰漏，全文复制转载会带来不必要的误导，若您想推荐给朋友阅读，敬请以负责的态度提供原文链接；点此查看如何在学术刊物中引用本文常规引用方式范建宁. LDA主题模型简介. 统计之都, 2010.10. URL

转载 乔布斯在斯坦福大学的演讲

Stanford Report, June 14, 2005‘You’ve got to find what you love,’ Jobs saysThis is the text of the Commencement address by Steve Jobs, C

原创 一个多线程队列模型

看看评价哈喃

转载 association,aggregation,composition有什麼差別?

class之間有三種關係，inheritance，implementation和association。inheritance和implementation在C++、C#、Java都有直接支援，所以不難懂，但association，aggregation和composition在

原创 使用NDK进行网络文件传输

想要通过网络传输文件，搜了不少代码，找到一个何意的真不容易。Marat Bedretdinov给了一个关于聊天程序的代码，里面包含NetLib模块，对网络提供了一个很好的界面，提供了多线程和事件通知。但是很复杂，源文件就有49个，还木有时间细看。有兴趣的可以看看。Sebast

原创 Rocchio算法

Rocchio算法是IR中通过查询的初始匹配文档对原始查询进行修改以优化查询的方法。Rocchio 算法是相关反馈实现中的一个经典算法，它提供了一种将相关反馈信息融到向量空间模型的方法。基本理论：假定我们要找一个最优查询向量q ，它与相关文档之间的相似度最大且同时又和不相关文档之

转载 推荐系统的作用和问题

推荐系统（recommender systems）是利用信息过滤技术向用户推荐其可能感兴趣的信息。推荐系统是有别于信息分类和信息搜索的信息处理方式。信息分类是有序的按照时间/主题/类别/用户/任务等方式组织结构化信息，浏览分类信息可以帮助用户理解信息之间的组织方式，但

转载 推荐系统和协同过滤面临的主要问题

数据稀疏协同过滤的精度主要取决于用户数据的多少。如果一个系统有很多用户的历史数据，他就能更好的对用户的喜欢做出预测。所以，目前推荐系统做的最好的都是那些有着很大量用户数据的公司，比如Google, Yahoo, Netflix, Amazon等等。但是，即使拥有很多数据，数据

原创 支持选择文件和目录（可多选）的文件对话框CSelectDialog

MFC自带的CFileDialog不支持选择目录，而且多选文件配置也不方便。有一些实现比较好的目录选择对话框，但是既可以支持选择文件，又可以支持选择目录的非常难得。非常感谢Hojjat Bohlooli（[email protected]）的工作，给我们提供了一个非

原创 TinyXML加载保存C++对象

TinyXML是一个非常小巧简单的XML解析库，采用DOM方式来解析XML文件。不足的是它本身不支持DTD和XSL，但普通简单的XML使用需求还是可以满足了。TinyXML由2个头文件四个CPP文件构成。继承结构如下：TiXmlBaseTiXmlAttribu

原创 Windows文件变更监控

有的时候需要在新建、修改和删除文件时执行一些操作，这就需要监控文件的变更。http://zhanyonhu.blog.163.com/blog/static/16186044200882484143208/提出了3种方法来实现：1. 函数FindFirstChangeNoti

转载 Bad Smell(代码的坏味道)

1.Duplicated Code(重复的代码)臭味行列中首当其冲的就是Duplicated Code。如果你在一个以上的地点看到相同的程序结构，那么当可肯定：设法将它们合而为一，程序会变得更好。最单纯的Duplicated Code就是［同一个class内的两个方法含有相同表达

原创 朴素的贝叶斯分类器（Naive Bayesian Classifier）

贝叶斯理论是处理不确定性信息的重要工具。作为一种不确定性推理方法，它基于概率和统计理论，具有坚实的数学基础，贝叶斯网络在处理不确定信息的智能化系统中已经得到了广泛的应用，并且成功地用于医疗诊断、统计决策、专家系统等领域。这些成功的应用，充分说明了贝叶斯技术是一种强有力的不确定性推

原创 Winnow算法

The winnow algorithm is a technique from machine learning for learning a linear classifier from labeled examples. It is very similar to the

原创 自动修复网络脚本（Auto IT）

适用于网络栈出现故障，不能正常显示IP地址。#cs ---------------------------------------------------------------------------------------FileName: NetworkDiagno

转载 Lua现在挤掉了JavaScript

对开发者这可能不是个好消息，我们又得学新的东西了。第一次听说它是在魔兽世界中，第一次看到它是在迅雷的UI库中。简单看看它有啥子优势吧，^_^ Lua is a powerful, fast, lightweight, embeddable scripting

转载 Outlook 2007 关闭附件屏蔽

发送exe文件的时候，Outlook默认会将它过滤了，不允许下载打开。修改注册表可以运行其发送： Windows Registry Editor Version 5.00[HKEY_CURRENT_USER/Software/Microsoft/Office/11.0/Outlook/Security]"Level1Remove"=".ade;.adp;.app;.asp;.b

原创 处理INI文件

简单的在开源中国上搜索了一下INI相关的项目，找到两个：MiniINI和SimpleINI。 MiniINI是一个开源的，非常高效的，并且非常容易上手的INI库。使用C++实现的，同时也可以操作CFG文件。它本身不依赖除标准库以外的任何库文件，能够在支持C99的各种编译器上编译。采用MIT/X许可证，有兴趣的可以参考：https://code.launchpad.net/miniini。到

原创 一个在UTF32、UTF-16、UTF-8中相互转换的C++程序

首先是最重要的版权信息。/* * Copyright 2001-2004 Unicode, Inc. *  * Disclaimer *  * This source code is provided as is by Unicode, Inc. No claims are * made as to fitness for any particular purpose. No warranti

原创 LabVIEW编写DLL

<br />LabVIEW是一种程序开发环境，由美国国家仪器（NI）公司研制开发的，类似于C和BASIC开发环境，但是LabVIEW与其他计算机语言的显著区别是：其他计算机语言都是采用基于文本的语言产生代码，而LabVIEW使用的是图形化编辑语言G(Graphics)编写程序，是一种产生的程序是框图的形式。<br /><br />通过一个简单的例子，用LabVIEW来编写一个实现三个数相加的DLL。首先编写一个子VI实现两个数相加，再编写一个VI通过调用子VI实现三个数相加。<br /><br />为了使外

原创 AutoIt 常用功能

1.    消除文件后缀StringTrimRight(@ScriptName, 4)StringRight(@ScriptName, StringLen(@ScriptName) - 4)2.    获取数组的行列Dim $Rows = UBound($Operation)Dim $Cols = UBound($Operation, 2)3.    判断IP地址Func __IsIPv4($IPStr)Return StringRegExp($IPStr, '^([1-9]|[1-9]

转载 能说明你的Javascript技术很烂的五个原因

<br />Javascript 在互联网上名声很臭，但你又很难再找到一个像它这样如此动态、如此被广泛使用、如此根植于我们的生活中的另外一种语言。它的低学习门槛让很多人都称它为学 前脚本语言，它另外一个让人嘲笑的东西是动态语言的概念是偏偏使用了高标准的静态数据类型。其实，你和Javascript都站错了立场，而现在，你让 Javascript很生气。这里有五个原因能说明你的Javascript技术很烂。1. 你没有使用命名空间。<br />是否还记得在大学里老师告诉你不要在家庭作业里使用全局变量？Javas

翻译 将MFC CString转成STD string

MFC拥有其自己的字符串：CSting。我们经常发现有必要将一个Cstring转换为C++标准库中的std::string，这个函数如下：std::string CStringToSTDStr(const CString& theCStr){ // Convert the