malik76-CSDN博客

原创 Hadoop源码的疑问

记录一下自己对于Hadoop源码的问题，版本0.20.2。1，在FIFO算法中，一个Job的status是什么时候被设为RUNNING的？2，《Hadoop权威指南2nd》210页关于“The Relationship Between Input Splits and HDFS Blocks”这部分也不是很理解，TextInputFormat的getSplits()会调用父类FileInp

2011-12-15 21:32:28 786

原创 VirtualBox挂载window文件夹

1，VirtualBox选择对应虚拟机啊，右键，设置-数据控件，添加：‘数据空间位置’选择window的文件夹；‘数据空间名称’随意起，在mount命令时会用到；选择‘固定分配’2，进入虚拟机，sudo mount -t vboxsf $数据空间名称 $linux下的一个目录 ...

2011-11-06 20:52:50 502

原创 Java容器学习

http://langyu.iteye.com/blog/360728http://langyu.iteye.com/blog/393672http://zhangshixi.iteye.com/blog/672697

2011-10-12 23:48:26 181

原创 Java I/O系统笔记[2]

10.新I/O nio速度的提高来自于所使用的结构更接近于操作系统执行I/O的方式：通道和缓冲器。我们并没有直接和通道交互，只是和缓冲器交互，并把缓冲器派送到通道。通道要么从缓冲器换得数据，要么向缓冲器发送数据。唯一直接与通道交互的缓冲器是ByteBuffer----也就是说，可以存储未加工字节的缓冲器。旧I/O的FileInputStream、Fil...

2011-10-12 11:39:50 132

原创 Java I/O系统笔记[1]

2.输入和输出public abstract class InputStream extends Object implements Closeable 此抽象类是表示字节输入流的所有类的超类。直接已知子类：AudioInputStream, ByteArrayInputStream, FileInputStream, FilterInputStream, InputStream...

2011-10-11 11:43:09 119

原创 [转] c++ 虚函数的实现机制：笔记

http://blog.csdn.net/jiangnanyouzi/article/details/3720807 1、c++实现多态的方法其实很多人都知道，虚函数在c++中的实现机制就是用虚表和虚指针，但是具体是怎样的呢？从more effecive c++其中一篇文章里面可以知道：是每个类用了一个虚表，每个类的对象用了一个虚指针。具体的用法如下：class A{public: ...

2011-09-26 23:36:14 88

原创一些算法

单链表逆序struct node{ int data; node* next;};node* reverse(node* list){ node *t, *r, *s; t = list; r = NULL; while(t){ s = t->next; t->next = r; r = t; t = s; } ret...

2011-09-26 21:57:35 103

原创堆和栈速度比较

至于堆和栈哪个更快，从两方面来考虑： 1.分配和释放，堆在分配和释放时都要调用函数（MALLOC,FREE)，比如分配时会到堆空间去寻找足够大小的空间（因为多次分配释放后会造成空洞），这些都会花费一定的时间，具体可以看看MALLOC和FREE的源代码，他们做了很多额外的工作，而栈却不需要这些。 2.访问时间，访问堆的一个具体单元，需要两次访问内存，第一次得取得指针，第二次才...

2011-09-26 21:03:04 1936

任何事情都是一分为二的，递归虽然有许多诸如解决复杂问题、缩短程序代码、提高变成效率等优点，但是它也有许多致命的弱点。可以想象，递归调用的过程可能象一个无底深渊，永远不能返回。我们知道函数在调用另一个函数时，需要把原来的函数的局部变量、返回地址等压入堆栈（即所谓的保留现场），以达到正常返回和继续执行。在一个函数进行递归调用时，每一次调用它本身，就象调用一个新的函数一样，他的所有的局部变量都要在内...

2011-09-26 00:06:09 1173

原创 JAVA杂记

x=x+1,x+=1,x++ x++效率最高；x=x+1需4步，x+=1需3步，x++需2步。 Java中涉及byte、char和short类型的运算操作首先会把这些值转换为int类型，然后对int进行运算，最后得到int类型结果。short s=1;s=s+1; 错误 short s=1;s+=1; 正确public class Test { public sta...

2011-09-13 10:44:01 135

原创 JAVA多线程学习

线程进入阻塞状态，可能有如下原因：（1）sleep();（2）wait();（3）等待某个输入/输出完成（4）试图在某个对象上调用其同步控制方法，但是对象锁不可用。（5）调用其他对象的join() 其中（3），（4）不可通过interrupt()中断。（1）用interrupt()终止由于调用sleep()阻塞的线程。class Base implemen...

2011-09-12 19:06:05 89

原创 Java对象大小探究

参考：http://langyu.iteye.com/blog/1167581http://www.javamex.com/tutorials/memory/object_memory_usage.shtmlhttp://www.codeinstructions.com/2008/12/java-objects-memory-structure.htmlhttp:/...

2011-09-08 15:14:34 148

原创 svn打patch时产生多余的代码

在用svn diff 打patch后，发现patch中每个新增文件后都有下面这样一串东西：Property changes on: src/XXXXXXX.java___________________________________________________________________Added: svn:executable + * 开始以为是将新增的...

2011-09-07 14:19:07 310

原创虚拟机virtualbox中挂载新硬盘

转自：http://liangbing8612.blog.51cto.com/2633208/652333 在virtualbox中装好Ubuntu后，发现硬盘空间太小，怎样才能增加硬盘容量？那就是再建一个硬盘：1. 添加新硬盘设置 -> Storage -> SATA控制器->右击，选择“添加虚拟硬盘” 然后，根据需求创...

2011-09-07 10:56:16 306

原创 yjp-9.5.6使用

1，从http://www.yourkit.com/java/profiler/index.jsp下载安装文件，windwos和linux2，在linux上解压yjp-9.5.6-linux.tar.bz23，$YJP_HOME/bin/yjp.sh -attach pidPicked up JAVA_TOOL_OPTIONS: Attaching to process 10138...

2011-09-05 19:12:03 234

原创 BTrace使用

参考：http://kenwublog.com/btrace-theory-analysis http://blog.bluedavy.com/?p=185 http://www.iteye.com/topic/652653 http://macrochen.iteye.com/blog/838920 http://k...

2011-09-04 14:15:12 84

原创单机测试HDFS多机架模拟

单机测试HDFS性能，HDFS的机架感知是需要配置，若没有配置则默认全部机器属于/default-rack。现需要模拟出多机架，又不需要去写脚本，Hadoop的测试框架已经提供了这样的功能，利用StaticMapping类就可以建立机器与机架的映射。…… co

2011-09-02 14:29:32 1565

原创 org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException

org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException: Not replicated yet:/nnThroughputBenchmark/addblock/AddblockBenchDir0/Addbl

2011-09-02 14:26:33 4138 1

原创单机测试NN时遇到的问题

在Hadoop的测试框架上写了一个小测试，用于比对NN使用不同策略分配数据块位置的速度： Configuration conf = new Configuration(); FileSystem.setDefaultUri(conf, "hdfs://localhost:" + 0); conf.set("dfs.http.address", "0.0.0.0:0")...

2011-08-30 21:15:08 272

原创 Eclipse常用快捷键

Shift+Tab 减少缩进Tab （同上）Ctrl+1 快速修复Ctrl+D: 删除当前行Alt+← 前一个位置Alt+→ 下一个位置Ctrl+Q 定位到最后编辑的地方Ctrl+I 格式化当前代码Ctrl+L 定位在某行 Ctrl+M 最大化当前的Edit或View (再按反之)Ctrl+W 关闭当前EditerCtrl+Shift+F4 ...

2011-08-29 10:37:37 73

原创运行Hadoop测试代码

$ cd $HADOOP_HOME$ ant jar-test$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar//从列表中选择想运行的程序TEST_PROGRAM$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar TEST_PROGRAM [args...] 若报错：Cause...

2011-08-28 17:16:46 287

原创 HDFS数据块恢复算法的思考

HDFS数据块恢复算法的触发时机有2处:一处是FSNamesystem.internalReleaseLease(Lease lease, String src);（租约恢复算法）一处是Client写pipeline时某个Datanode出现错误而触发，具体见DFSCli

2011-08-22 14:38:49 2126

原创 MapReduce常用代码片段备忘

JobProfile profile = JobSubmissionProtocol.getJobProfile(JobID jobid);profile.getURL().toString(); --------->http://jobtrackerhostname:50030/jobdetails.jsp?jobid=job_201107221702_3777

2011-08-21 15:08:15 98

原创 Raid常用代码片段备忘

DistributedRaidFileSystem其实就是装饰者设计模式中的装饰者，对DistributedFileSystem进行了封装，关键是DistributedRaidFileSystem.ExtFSDataInputStream.ExtFsInputStream对FSInputStream.read(byte[] b, int offset, int len)封装，捕获BlockMiss...

2011-08-19 11:00:45 130

原创 HDFS常用代码片段备忘

FileSystem fs;DistributedFileSystem dfs; 得到FileSystem: fs = new Path("/").getFileSystem(conf);RPC调用Namenode方法： fs.getClient().namenode.XXXXX();得到某个文件corrupt的数据块： LocatedBlocks l...

2011-08-10 15:26:59 150

原创 Linux常用命令

解压rar文件：unrar x -y SRCFILE DESTPATH建立软链接： ln -s TARGET LINK_NAME查看.jar文件里的内容： unzip -l XXX.jar查看.tar.gz tar -ztvf XXX.tar.gz t: --list list the contents of an a...

2011-07-25 20:19:39 94

原创 Linux svn 生成/打patch

checkout:svn checkout svnPath; //checkout后目录里面有.svn隐藏文件修改系统默认语言：ubuntu默认的LANG环境变量是zh_CN.UTF-8,这对以后打patch时可能有影响，最好把LANG该为英文：在/etc/profile加上export LANG=us_EN.UTF-8，此后运行svn会有warn：svn: warn...

2011-07-25 16:44:41 683

原创 xoops-2.3.3安装

下载xoops-2.3.3-schinese_utf8.rar压缩包；解压后将xoops-2.3.3-schinese_utf8/htdocs文件夹复制到Apache2.2/htdocs/目录下，启动Apache服务器，访问http://localhost/htdocs/mainfile.php进行xoops的安装（注意mainfile.php去掉只读属性，默认已经去掉，在安装成功后会自动勾选

2011-06-08 11:19:00 1952

原创 Windows + Apache2.2 + mysql5.5.13+ php5.3.6 安装与环境配置

具体配置过程参看：http://hi.baidu.com/%D3%EA%BC%BE%D7%ED%C7%E5%B7%E7/blog/item/ade2f21df3d96f1d314e155c.htmlhttp://www.phpweblog.net/tanqimin/archive/2007/07/01/1424.aspx 按照上面的步骤，在windows7下配置Apac

2011-06-07 16:08:00 2222

原创 java.sql.Result.setFetchDirection(int direction)无法使用？

需要在MySql查出数据后，从数据集的最后面开始逆向遍历记录，想利用java.sql.Result.setFetchDirection(int direction)函数，但是设置了Direction后还是从头开始遍历记录，不知道setFetchDirection(int direction)这个函数该如何使用？网上也没找到使用例子。现在是利用last()、relative(int rows)、previous()实现的逆向遍历。

2011-05-16 16:08:00 3290 1

转载不同数据库获取前N条记录的Sql书写

1. ORACLE SELECT * FROM TABLE1 WHERE ROWNUM 或者 select * from (select * from tableName order by dbms_random.value) where rownum 2. INFORMIX SELECT FIRST N * FROM TABLE1 3. DB2 SELECT * ROW_NUMBER() OVER(ORDER BY COL1 DES

2011-05-15 20:11:00 1128

原创 Java追加文件内容的三种方法

import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputStream;import java.io.FileWriter;import java.io.IOException;import java.io.OutputStreamWriter;import java.io.RandomAccessFile;/** * * @author malik * @ve

2011-05-10 11:31:00 118162 2

原创 Java定时启动任务以及Heritrix超时处理

Timer timer = new Timer(); timer.schedule(new TimerTask() { public void run() { try{ /** *your code */ /*for test System.out.println("Start " + count

2011-05-10 11:14:00 2497

原创 DOM4XML

(一)新建一个xml文件，然后往里面添加元素package com.util;import java.io.File;import java.io.IOException;import javax.xml.parsers.DocumentBuilder;import javax.xml.parsers.DocumentBuilderFactory;import javax.xml.parsers.ParserConfigurationException;import javax.xm

2010-08-01 21:47:00 960

原创在Ubuntu9.04上配置Hadoop集群

参考《Hadoop开发者入门专刊.pdf》实践环境：Ubuntu9.04+jdk1.6.20+hadoop-0.20.2(两台实体机)机器名 IP 作用ibm 125.216.227.173 NameNode、master、jobTrackeribm01 125.216.227.152 DataNode、slave、taskTracker安装步骤：1、安装ubuntu9.04 我用ub

2010-07-12 22:02:00 1934

原创 ubuntu9.04 JDK,JRE 环境变量配置

昨天在ubuntu9.04安装jdk，方法是在windows下载linux的jdk然后传到ubuntu后安装的，但发现这样是不能安装的，报错如下：Unpacking...Checksumming...The download file appears to be corrup

2010-07-12 10:12:00 2657

原创 ubuntu教育网更新源

下午测试了一下，在未修改更新源的时候下载很慢。中途我中断了下载，把更新源更改为下面（我用的是教育网），很快就更新完毕。 1.更新前先备份原文件 sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup 2、然后编辑更新源配置文件 sudo gedit /etc/apt/sources.list #中国科学技术大学更新服务器（教育网，推荐校园网和网通

2010-07-11 19:23:00 1805

原创为ubuntu的root用户设置密码

ubuntu安装时，系统系统了一个管理员账户，由安装者自行命名，设密码。但有好多命令此账户无权执行，必须由root账户来执行。然而root用户需要设置了密码才能进行，否则suroot的执行结果只能得到一个告知有误的提示。所以我们需要对root进行加密。加密过程非常简单（Ubuntu10.04），在终端输入如下命令：sudo passwd root，系统提示输入密码，输入回车即可。不需要重启（计算机，终端程序都不许要），就已经可以执行su root了。

2010-07-11 15:28:00 1018

转载 Eclipse快捷键大全

Shift+Tab 减少缩进（非常常用） Tab （同上） Ctrl+1 快速修复(最经典的快捷键了) Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加) Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,省去先剪切,再粘贴) Alt+↑ 当前行和上面一行交互位置(同上) Alt+← 前一个编辑的页面 Alt+→ 下一个编辑的页面Alt

2010-06-14 16:49:00 597

原创配置Heritrix在命令行使用

今天安装Heritrix在命令行使用，主要参考以下这个网址： http://hi.baidu.com/syimiaoa/blog/item/999e29f7934cdd26720eec84.html 1，其中： monitorRole @PASSWORD@ ==> monitorRole admin controlRole @PASSWORD@ ==> controlRole admin 意思是把 “monitorRole @PASSWO

2010-06-02 17:12:00 2699

空空如也

空空如也