- 博客(307)
- 资源 (1)
- 收藏
- 关注
RSS订阅进程，轻量级进程，内核线程，用户线程的区别关系
进程，轻量级进程，内核线程，用户线程的区别关系在现代操作系统中，进程支持多线程。进程是资源管理的最小单元；而线程是程序执行的最小单元。一个进程的组成实体可以分为两大部分：线程集合资源集。进程中的线程是动态的对象；代表了进程指令的执行。资源，包括地址空间、打开的文件、用户信息等等，由进程内的线程共享。线程有自己的私有数据：程序计数器，栈空间以及寄存器。Why Thread?（传统单线程进...
2014-05-22 22:23:00
270
用户级线程和内核级线程
转自http://col1.blog.163.com/blog/static/1909775192012719114033352/1 .内核级线程:切换由内核控制，当线程进行切换的时候，由用户态转化为内核态。切换完毕要从内核态返回用户态；可以很好的利用smp，即利用多核cpu。windows线程就是这样的。2. 用户级线程内核的切换由用户态程序自己控制内核...
2014-05-22 22:01:00
249
下载维基百科wikipedia!
转自: http://blog.sciencenet.cn/blog-453771-428323.htmlWikipedia（http://en.wikipedia.org/wiki/Main_Page）也就是维基百科是当前最有名的百科类网站，分门别类的以词条的方式详细介绍某个概念的历史、定义、发展和背景，大略来讲可以把它理解成为一本大词典。对于科研工作者而言，很多时候突然看到一个新的term...
2014-05-18 17:16:00
1387
关于linux下mount和df查看挂载的区别
mount -l和df -h到底有何区别呢?[liuqiang2@mu02 ~]$ mount -l/dev/sda3 on / type ext4 (rw)proc on /proc type proc (rw)sysfs on /sys type sysfs (rw)devpts on /dev/pts type devpts (rw,gid=5,mode=620)...
2014-05-18 15:24:00
2195
体系结构顶级会议
系统结构 ASPLOS ISCA Micro HPCA系统 ASPLOS SOSP OSDI USENIX ATC EuroSys SoCCSuper ComputingHPDCSCISC分布式系统PODCMiddlewareNSDIICDCS虚拟机VEE编程与管理P...
2014-05-16 22:31:00
1026
How does YARN compare to Mesos?
转自;http://www.quora.com/How-does-YARN-compare-to-MesosBoth systems have the same goal: allowing you to share a large cluster of machines between different frameworks.For those who don't know, NextGe...
2014-04-22 11:36:00
112
Hadoop的作业提交过程
1.JobClient调用FileInputFormat.getSplits()，如果数据文件是isSplitable()的话，会将大的文件分解成小的FileSplit,记录文件在HDFS里的路径及偏移量和Split大小。这些信息会统一打包到jobFile的jar中。2.JobClient然后使用submitJob(job)方法向master提交作业。submitJob(job)内部是通过...
2014-04-11 20:01:00
204
操作系统级别对Hadoop性能优化
转载自过往记忆（http://www.iteblog.com/）本文链接地址:《操作系统级别对Hadoop性能优化》（http://www.iteblog.com/archives/1004）由于Hadoop自身的一些特点，它只适合用于将Linux作为操作系统的生产环境。在实际应用场景中，管理员适当对Linux内核参数进行调优，可在一定程度上提高作业的运行效率，比较有用的调整选...
2014-04-08 20:04:00
204
hadoop hbase metric名全解释
load_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间，精确到秒bytes_in 网络接收速度，单位bytes/secbytes_out 网络发送速度，单位bytes/seccpu_aidle 启动的空闲CPU百分比cpu_idle 空闲CPU百分...
2014-04-01 16:47:00
362
精心收集的Hadoop学习资料(持续更新)
转自:http://www.iteblog.com/archives/851最近发现自己收集到的Hadoop学习资料有很多本，想想放在那里也浪费，所以觉得贴出来给大家分享，需要的可以去我CSDN里面下载，保证全部资源免费下载！这里面很多英文的资料。 1、《Hadoop技术内幕：深入解析Hadoop Common和HDFS》下载地址：http://download.csdn.n...
2014-03-27 10:54:00
94
Yarn AppMaste调试
一般都是这种形式，YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y "但是MRMaster不知道加在哪里，查看了封神的博客后，恍然大悟，http://fengshenwu.com/blog/tag/hadoop2yar...
2014-03-23 17:00:00
180
protoc编译
[liuqiang@localhost src]$ pwd/home/liuqiang/workspace/ProtoTest/src[liuqiang@localhost src]$ protoc --java_out=/home/liuqiang/workspace/ProtoTest/src yarn_protos.proto即生成org目录:[liuqiang@loc...
2014-03-22 10:17:00
147
Yarn编译问题记录
安装Maven不要使用最新的Maven 3.1.1。Hadoop 2.2.0的源码与Maven3.x存在兼容性问题，所以会出现java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter之类的错误。安装 Maven 3.0.5$ wget http://mirror.eso...
2014-03-21 21:36:00
470
crontab命令
crontab -e* 22 * * * ifdown eth1 //22点关闭网卡[root@mu02 ~]# crontab -l* 22 * * * ifdown eth1重启crond服务: service crond restart查看cron日志:cat /var/log/cron
2014-03-18 21:27:00
84
Yarn2.2.0公平调度器分配流程
这里要把握好两条主线:1. ApplicationMasterService 通过重载ApplicationMasterProtocol的AllocateResponse allocate(AllocateRequest request)方法实现了AppMaster的远程资源请求，同时 也是兼具心跳作用。 AllocateResponse allocate(AllocateRequ...
2014-03-18 17:41:00
133
我见过的关于notify()和notifyAll()区别的最简洁的代码
转自: http://wangacidlemon.iteye.com/blog/398623wait()方法表示，放弃当前对资源的占有权，等啊等啊，一直等到有人通知我，我才会运行后面的代码。notify()方法表示，当前的线程已经放弃对资源的占有，通知等待的线程来获得对资源的占有权，但是只有一个线程能够从wait状态中恢复，然后继续运行wait()后面的语句；notifyAll()方法表示...
2014-03-17 11:33:00
360
NIS和pbs服务改动
之前因为一次黑客入侵，他喵的重装系统，浪潮的哥们给我们搞定了，但是还有点问题，今天又问了下，把解决过程记录在这里。1. NIS因为重装系统，原来加系统用户的脚本没了，只好手动的。步骤:1) 添加用户 mu02: useradd -m liuqiang2 passwd liuqiang2 cd /var/yp ...
2014-03-16 23:13:00
237
原创 自由在博客里插入广告
转自: http://tianyalublog.iteye.com/blog/2009724广告类型CPM(每千次访问成本)，按流量计费即，CPC按点击计费即,这种广告最容易挣钱，但是成果网好少。CPA（Cost Per Action），简单说是为网站带来新用户注册并激活，就算是有效的广告（广告商付费，做广告的媒介收费）,CPS（Cost Per Sales）与CPA...
2014-03-15 21:06:58
247
mongodb shell BackSpace 无法删除
SecureCRT工具默认的字符输入模式的问题，可以通过以下方式修改：第一步：选择Option菜单中的Session Option。在左侧的目录中选择Terminal—Emulation，在其中的Terminal选项中选择Linux，并点击确定即可。更简单的办法是用putty就好了~...
2014-03-15 15:45:00
163
yarn2.2.0安装问题记录
1. mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers解决办法：在yarn-site.xml 配置文件中增加：...
2014-03-15 15:39:00
245
Linux vim/vi 用:s 命令来替换字符串
首先vim yourdata, 然后按Esc键，之后:s/well/good/ 替换当前行第一个 well 为 good:s/well/good/g 替换当前行所有 well 为 good:n,$s/well/good/ 替换第 n 行开始到最后一行中每一行的第一个 well 为 good:n,$s/well/good/g 替换第 n 行...
2014-03-15 14:30:00
89
Mongodb在Linux下的使用说明
启动:./mongod -dbpath=data/ -logpath=log/mongodb.log --rest //加上rest选项是因为便于网页访问关闭:pkill mongod脚本使用参考;http://www.server110.com/mongodb/201311/3179.html基础命令参考:http://tech.lezi.com/archives/29...
2014-03-13 22:19:00
81
java命令及classpath参数
执行java时，由classpath指定java程序所在位置，如果没指出则默认为命令行当前路径，另外执行的类名是不能带路径的，JVM会把整个类名参数作为类名，如果包含路径名则路径也被当做是类名的一部分。类名部分只能带包名（如果声明了package）。并且如果声明了package，则类名必须带上包名；如果没声明package，则类名只能包含类名。JVM会检查你的包名和类中package的声明是否...
2014-03-12 16:58:00
712
JDK 1.7 基本概念和目录结构
转自:http://www.cnblogs.com/cynthiahuo/archive/2013/06/03/3115921.htmlJDK 1.7 基本概念和目录结构参考资料：http://blog.csdn.net/kindazrael/article/details/7270673http://docs.oracle.com/javase/7/docs/index...
2014-03-12 16:56:00
76
Eclipse用法和技巧二十三：查看JDK源码
转自: http://blog.csdn.net/maybe_windleave/article/details/9896501使用java开发，如果能阅读JDK的经典代码，对自己的水平提高是很有帮助的。笔者在实际工作中总结了两种阅读JDK源码的方式。第一种下载android源代码，直接在android源码代码中，这里的代码虽然不是标准的JDK源码，但是也很不错值得一看。另外一种，就是...
2014-03-12 16:51:00
51
修改DataNode遇到的问题
调试这块代码的时候遇到一个很奇怪的问题，就是改动的代码加进去后，发现有些新增代码是能执行的，有些不能执行，Stack的情况如下:Daemon Thread [org.apache.hadoop.hdfs.server.datanode.DataXceiver@2ef9748f] (Suspended)NoClassDefFoundError.<init>(String) l...
2014-03-12 10:46:00
142
修改HDFS遇到的问题
改HDFS遇到个问题，需要每个datanode上面的数据块在当前写入的时候能够知道当前其所属的分布式文件的名称，但是查了代码后发现块所属的文件名只能在namenode包里的BlocksMap才能查到数据块所属文件等一些元数据信息，具体见http://blog.csdn.net/cloudeagle_bupt/article/details/20933045，为了方便所有的块都能读取到当前写...
2014-03-10 16:51:00
90
HDFS文件元数据信息管理模块
转自:http://blog.csdn.net/sxf_824/article/details/4842196设计思想HDFS中对数据存储的最小单位为block,HDFS会将其存储的大文件打散成很多64M大小的block，并将这些block分别存储在集群中datanode机器上。服务器namenode主要存储文件元数据信息（文件目录结构，具体文件由那些block组成），...
2014-03-10 16:47:00
769
HDFS源码分析（2）----HDFS源码结构
转自:http://blog.csdn.net/gaoxingnengjisuan/article/details/11177049HDFS源代码分布在16个目录下，它们可以分为四类：1.基础包（包括工具包和安全包）包括工具和安全包。其中，hdfs.util包含了一些HDFS实现需要的辅助数据结构；hdfs.security.token.block和hdfs...
2014-03-10 16:17:00
87
NoSQL解决方案比较
NoSQL解决方案比较NoSQL Solution: Evaluation and Comparison: MongoDB vs Redis, Tokyo Cabinet, and Berkeley DB你也许认为这是NoSQL (Not Only SQL)广告宣传的另一个博客。是，这的确是。但是如果这个时候你仍就为寻找一个可行的NoSQL解决方案而苦恼，...
2014-03-07 11:06:00
130
java之BerkeleyDB(二)--绑定(Binding)技术、游标(Cursor)
转自:http://blog.csdn.net/ylf13/article/details/15337957有几个注意的，在BDB数据库里，默认是不能有重复的两个相同的键，当然可以通过config配置sortedDupli...来设置可以，所以在读取数据库值的时候必须考虑两种情况，是否存在相同的键的记录JE provides two basic mechanisms f...
2014-03-07 10:26:00
138
Berkely Db的两个问题
特性大型数据库的支持：它支持从1到数百万级的数据量，数据库的大小限制基本上受限于你的硬件支持。Database Environment：Database Environment提供了一个单元的封装和管理一个或多个数据库。Database Environment也是内部资源管理的一个单元，如内存中的缓存和后台线程。最后，使用它管理并发性和事务。请注意，所有应用程序使用JE都...
2014-03-07 10:19:00
128
MapReduce的容错性
MapReduce的容错性,其思路很简单，出问题的话，重做就是了: 1. map: 重执行 2. reduce: 重执行的话，需要保存中间数据，否则reduce一旦坏了的话，之前的取得的数据全部浪费了，这也是为什么reduce不使用诸如 消息机制传递数据的原因。 这样map和reduce实现了异步读写，同时其容错也得到了保证。...
2014-03-05 17:11:00
485
chunk block, packet区别
在看hdfs时，经常会碰到block，packet，chunk等概念，下面做个简要介绍：block是最大的，默认为："fs.local.block.size", 32 * 1024 * 1024=32mpacket其次, 默认为："dfs.write.packet.size", 64*1024=64kchunksize 默认为："io.bytes.per.checksu...
2014-03-05 17:09:00
676
有限状态机（FSM）的分类
转自:http://book.51cto.com/art/200911/162899.htm有限状态机有两种基本类型：米利（Mealy）机和摩尔（Moore）机，米利机的下一状态和输出取决于当前状态和当前输入；摩尔机的下一状态取决于当前状态和当前输入，但其输出仅取决于当前状态。这两类有限状态机的下一状态和输出都是由组合逻辑电路形成的。1. 米利（Mealy）机米利（...
2014-03-04 11:18:00
4813
HDFS中DataNode获取数据函数
BlockReceiver 函数， receivePacket（）函数最终获取的数据包写入磁盘try { if (!finalized) { //finally write to the disk : out.write(pktBuf, dataOff, len); // If this is a partial chunk, then v...
2014-02-25 16:07:00
88
hadoop 中FIFO任务分配流程简化描述
代码总体很复杂，简化下流程是assignTasks流程:FIFO的分配任务算法流程: // map任务分配 for (int i=0; i < availableMapSlots; ++i) { for (JobInProgress job : jobQueue) { 该作业有可分的任务，当前map slot分配给它。退出此次循环，进行下一个map slot的分...
2014-02-24 17:36:00
83
MPI, MapReduce 应用比较分析
http://redtreewood.blogspot.com/2009/10/openmp-mpi-mapreduce.htmlOpenMP:OpenMp是线程级别的，共享是存储，只适应用于共享总线与内存，单一操作系统映像的SMP机器和DSM机器。可扩展性比较差，对机器的要求比较高。一般双核的机器（很多CPU共享内存条）适合用OpenMP，可以提高一定的运行速度。这个在科...
2014-02-14 16:34:00
140
HDFS设计优劣
1.副本放置策略副本的存放，副本的存放是HDFS可靠性和性能的关键。HDFS采用一种称为rack-aware的策略来改进数据的可靠性、有效性和网络带宽的利 用。这个策略实现的短期目标是验证在生产环境下的表现，观察它的行为，构建测试和研究的基础，以便实现更先进的策略。庞大的HDFS实例一般运行在多个机 架的计算机形成的集群上，不同机架间的两台机器的通讯需要通过交换机，显然通常情况下，同一个机架内...
2014-02-14 16:32:00
41
并行计算模型
并行计算模型通常指从并行算法的设计和分析出发，将各种并行计算机（至少某一类并行计算机）的基本特征抽象出来，形成一个抽象的计算模型。从更广的意义上说，并行计算模型为并行计算提供了硬件和软件界面，在该界面的约定下，并行系统硬件设计者和软件设计者可以开发对并行性的支持机制，从而提高系统的性能。有几种有价值的参考模型：1、PRAM模型PRAM（Parallel Ran...
2014-02-05 11:11:00
819
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人