- 博客(56)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 后台运行SCP远程拷贝文件
Linux scp 设置nohup后台运行1.正常执行scp命令 2.输入ctrl + z 暂停任务 3.bg将其放入后台 4.disown -h 将这个作业忽略HUP信号 5.测试会话中断，任务继续运行不受影响1.正常执行scp命令从oradb30机器拷贝一个文件夹到oradb31机器:scp -r /u01/media/Disk1/ 192.168.1.31:/u01/me...
2018-12-20 14:35:51
1673
转载 好用的python库
1. yagmail使用yagmail，发送一个带附件的邮件，只需要2行代码：import yagmailyag = yagmail.SMTP(user='[email protected]', password='nicai?', host='smtp.163.com', port='25')yag.send(user, subject = "I now can send an attachme...
2018-05-14 22:27:58
404
原创 设计一个LRU Cache
原来遇到的一个面试题，今天意外想起，记录一下。问题：设计实现一个LRU Cache，需要支持三种操作：插入(insert)、替换(replace)、查找（lookup）思路：用HashMap做为基础容器，容器内Value组成双向链表，由双向链表支持LRU的替换策略。链表需要维持数据项从最近访问到最旧访问的顺序。插入：当Cache未满时，新的数据项只需插到双链表头部即可。时间复杂度为O(1)O(1)...
2018-03-08 16:34:45
590
转载 Redis干货集合
https://m.aliyun.com/yunqi/articles/337555?utm_content=m_40223#tt_daymode=1
2018-01-16 22:28:08
402
原创 Hadoop的计算框架——shuffle流程理解要点
1. 分区partition每个MapTask的输出都会被分割为多个分区，Reducer会根据JobTask维护的映射关系获取自己应该处理的那一份。有多少个Reducer，Mapper的输出就应该有多少个分区。这个分区动作叫做partition，具体逻辑是由partitioner类实现（用户可以自定义自己的partitioner），partition的职责就是保证MapTask输出
2017-12-15 11:53:39
663
原创 Hadoop的资源管理——Yarn初探
首次接触Hadoop是在2011年，当时主流版本是0.20.2，很多介绍hadoop的经典书籍也是基于那个经典的版本。0.20.2虽然经典，但也有很多不够完善的地方，比如namenode的性能瓶颈，jobtracker和tasktracker资源管理机制不够高效等等。在这些制约下，当年的雅虎也有单集群5000节点，秒级terasort的成绩，可见Hadoop是一个非常成功的分布式系统。Hadoop...
2017-12-11 18:28:55
3288
原创 JVM深入理解（一）
1. JVM的物理结构JVM内存结构主要包括两个子系统和两个组件。两个子系统分别是Classloader子系统和Executionengine(执行引擎)子系统；两个组件分别是Runtimedataarea(运行时数据区域/内存空间)组件和Nativeinterface(本地接口)组件。Classloader子系统的作用：根据给定的全限定名类名(如java.
2017-12-06 23:51:27
314
转载 Zookeeper介绍-Paxos实现
ZooKeeper是近期比较热门的一个类Paxos实现。也是一个逐渐得到广泛应用的开源的分布式锁服务实现。被认为是Chubby的开源版，虽然具体实现有很多差异。ZooKeeper概要的介绍可以看官方文档：http://hadoop.apache.org/zookeeper 这里我们重点来看下它的内部实现。ZooKeeper集群中的每个server都要知道其他成员，通过在配置文件zoo.cf
2017-05-16 09:15:38
354
转载 CentOS6 安装pgloader
Pgloader is a usefull tool to migrate data from Mysql to Postgress with a simple command or Python execution For more information about this useful tool:– https://pgloader.io– https://github.c
2016-03-08 14:45:22
1924
原创 在Ubuntu12.04上部署CloudFoundry-ng （二） uaa和cloud_controller_ng的部署
uaa和cloud_controller_ng的部署1. 安装并配置UAA（认证模块）安装jdk安装maven：sudo apt-get install mvn获取uaa的最新源码：git clone https://github.com/cloudfoundry/uaa.git为uaa安装独立的ruby和gemset环境（使
2013-05-16 10:59:42
2796
原创 在Ubuntu12.04上部署CloudFoundry-ng （一） dea_ng和warden的部署
在Ubuntu12.04上部署CloudFoundry-ng （一） dea_ng和warden的部署相比上个部署文档，这次的操作更规范，更快捷环境：Ubuntu12.04LTS ，rvm -> ruby1.9.31. 使用rvm安装/管理不同版本的ruby，并且可以使用gemset将各个项目的gem环境分隔开安装rvm：sudo apt-get insta
2013-05-15 15:44:37
2539
1
原创 使用cgroup限制java使用的内存量-思路
1. 对一个正在运行着的进程来说，在不到达其内存使用量边界的情况下，扩大/缩小其cgroup分配的内存不会对它产生任何影响。2. 在进程已经使用了一定量的内存的情况下，缩小其cgroup内存至小于已使用的内存量，有两种结果（可通过cgroup配置，oom_kill_disable=0时杀死进程，=1时挂起进程）：A．进程被杀死B．进程被挂起，系统向cgroup中
2013-05-14 15:42:04
4427
1
原创 ubuntu10.04 缺少内核源文件造成virtualbox不可用
安装virtual box后无法启动虚拟机:WARNING: The vboxdrv kernel module is not loaded. Either there is no module available for the current kernel (2.6.38-16-generic) or it failed to load. Pleas
2013-04-24 12:26:03
1795
原创 Swift 大文件问题
大文件问题官方在线文档：http://docs.openstack.org/developer/swift/overview_large_objects.html 传输超过5G的大文件时，需要使用-S参数，指定将大文件分块存储，-S 指明了分块的大小。例如：swift –V 2.0 –A http://localhost:5000/v2.0-U admin:admin -K adm
2013-03-25 11:25:54
2547
转载 查看UNIX服务器CPU个数等硬件信息
查看硬件_CPU 个数硬件类型 转载自：http://blog.chinaunix.net/uid-25256412-id-101004.html一、如何查看服务器的CPU今天安装了9台Linux服务器，型号完全不一样（有DELL、HP和IBM服务器），又懒得去对清单，如何在Linux下cpu的个数和核数呢？另外，nginx的cpu工作模式也需要
2013-02-25 10:06:17
7485
1
原创 swift部署多proxy并实现负载均衡
5台服务器 A B C D EA为负载均衡BCDE 既做proxy server 又做storage server负载均衡工具的选择：nginx：0.6.33版本后不允许POST方法访问静态资源，swift 只有head get方法能用，post put等方法被阻挡在nginx，无法下发到proxyserver。错误表现为：405 Not Allowed修改配置文件和改
2013-02-21 17:27:33
3075
1
转载 WSGI的理解（转载）
wsgi是一个搞web开发的pythoner必须了解的内容，之前也零散的看过一些文章，但总感觉好多概念很模糊。这几天抽空又把相关内容好好整理了一下，把笔记贴出来，一些只言片语也许对某些正在研究这个的人有所帮助。 wsgi 是一个 web 组件的接口规范.，wsgi将 web 组件分为三类： web服务器,web中间件,web应用程序，下图来自ibm developerw
2012-12-31 14:42:48
25274
8
原创 卸载LDAP
LDAP认证服务长时间运行后使su等需要用户权限认证操作的命令变慢，尝试关闭LDAP服务在ldap server端，service stop ldap即可在ldap client端，需要做一些设置先尝试使用authconfig命令 disableldap报错，提示找不到 acutil 模块setup命令然后选择Authentication
2012-11-29 16:22:01
5230
原创 MongoDB的使用及思考
1T格式化的文本，使用Mongo，失去了其schema free的特性。而且1. 数据膨胀严重2. 分shard后索引过程较缓慢3. 底层数据文件IO使用了mmap()，现在看来吃掉很多内存。似乎还有swap颠簸的问题。使系统不够稳定，特别是与其他服务共享一台物理机的时候。4. 数据均衡时不太稳定考虑是否用分布式的mysql，搞的健壮一些。
2012-05-18 10:25:45
840
转载 Schema-Free MySQL vs NoSQL
Schema-Free MySQL vs NoSQLBy Ilya Grigorik on March 01, 2010Amidst the cambrian explosion of alternative database engines (aka, NoSQL) it is almost too easy to lose sight of the fact t
2012-04-25 14:15:24
2098
原创 很有用的shell / python 脚本片段（记录）
1, kill包含某关键字的进程。ps aux |grep eclipse |awk '{print $2}'|xargs kill -9 2. 查看当前用easy_install 安装的 python包(egg等)的安装位置：可以通过如下的命令来显示出 ``site-packages`` ::python -c "from distutils.sysconfig import ...
2011-08-15 11:00:48
1467
转载 fcntl函数的使用
功能描述：根据文件描述词来操作文件的特性。可对任意文件描述符使用#include #include int fcntl(int fd, int cmd); int fcntl(int fd, int cmd, long arg); i
2011-08-15 10:56:27
1287
转载 c++中被忽视的隐藏
原文：http://blog.163.com/dmg_123456/blog/static/56705063200992395226772/稍微懂得点oop的人都知道重载，那是多态性的重要体现！可是在c++中你能分清成员函数的重载、覆盖吗？这个好像也不难，重载
2011-08-11 11:54:09
4680
2
原创 HCE初体验
HCE， short for Hadoop c++ extension据说效率可以比传统Hadoop提高20%以上，计划用倒排索引测试其真实的效率。暂定使用3台节点，每个节点16核cpu。一天半的时间学习hadoop和hce的部署，并在CentOS5.4上成功部署
2011-08-10 15:59:49
6045
5
原创 顶级名校的教学视频
http://so.v.163.com/movie/listpage/listprogram1/pl2/%BC%C6%CB%E3%BB%FA/default/fc/ot/default/1.html
2011-06-26 14:03:00
1110
原创 thrift初体验
<br />使用thrift实现java调用c++实现的简单webservice<br /> <br />首先是安装thrift，这花费了不少时间。<br />关于安装步骤，apache的官方说明已经比较详细了:<br /> <br />http://wiki.apache.org/thrift/ThriftRequirements<br />http://wiki.apache.org/thrift/ThriftInstallation<br /> <br />看起来依赖的库很多，但其实关键的也就是<br
2011-04-29 18:23:00
3947
转载 gcc STL iterator 出现错误 expected `;' before ‘iter’
<br />gcc版本：<br /><br />root@sunshine-laptop:~/workspace/c++# gcc --version<br />gcc (Ubuntu 4.3.3-5ubuntu4) 4.3.3<br /><br />代码如下：<br /><br />template <typename elemType><br />void display(const vector<elemType> &vec, ostream &os)<br />{<br />
2011-03-29 14:08:00
2372
原创 ucos---优先级
<br />ucos---优先级 <br />ucos是一个preemptive多任务实时内核，包括任务管理、时间管理、事件管理、内存管理等模块。<br />任务是一个无限循环的函数，优先级也是它的ID，数据结构是OS_TCB。<br />优先级：数字越小优先级越高<br /><br />ucos中该表由OSRdyGrp和OSRdyTbl[]两个变量替代。在调度过程中，寻找优先级最高的任务就是判断最低位的过程。<br />假设OSRdyGrp=0b01000101（0x45）,说明有3个组都有ready t
2011-03-21 21:02:00
2170
原创 常见算法知识备忘录1
<br />待:strcpy strlen memcpy memset memmove atoi itoa的实现 <br /><br />注意时间复杂度 <br />1.给出一个数列，找出连续相加最大的和 <br />方法：(1)O(n) 一次扫描，如果sum<0, sum = 0. 英文数据结构书p23 <br /> (2)O(nlogn) devide and conqure 左右两边分别找最大，合并后的值，看看最后左、右、合并三个哪个最大 英文数据结构书p21 <br />========
2011-03-21 17:20:00
3993
1
转载 gcc and g++
<br />以前真的不知道......<br />只知道gcc和g++都是GNU(组织)的一个编译器。 <br /><br /> 误区一:gcc只能编译c代码,g++只能编译c++代码 <br /> 两者都可以，但是请注意： <br /> 1.后缀为.c的，gcc把它当作是C程序，而g++当作是c++程序；后缀为.cpp的，两者都会认为是c++程序，注意，虽然c++是c的超集，但是两者对语法的要求是有区别的。C++的语法规则更加严谨一些。 <br /> 2.编译阶段，g++会调用gcc，对于
2011-03-21 09:33:00
747
原创 gcc与g++到具体区别
<br />以前真的不知道......<br />只知道gcc和g++都是GNU(组织)的一个编译器。 <br /><br /> 误区一:gcc只能编译c代码,g++只能编译c++代码 <br /> 两者都可以，但是请注意： <br /> 1.后缀为.c的，gcc把它当作是C程序，而g++当作是c++程序；后缀为.cpp的，两者都会认为是c++程序，注意，虽然c++是c的超集，但是两者对语法的要求是有区别的。C++的语法规则更加严谨一些。 <br /> 2.编译阶段，g++会调用gcc，对于
2011-03-18 13:53:00
975
原创 C++STL priority_queue 学习
<br /><br />毋意，毋必，毋固，毋我。 言必行，行必果。C++STL priority_queue 学习<br />本文来源自网上摘抄，故学习记录于此。<br /> <br />包含priority_queue 的头文件是 <queue><br /> <br />priority_queue类的主要成员：<br />priority_queue(); //默认构造函数，生成一个空的排序队列<br />priority_queue(const queue&); //拷贝构造函数<br /
2011-03-17 15:00:00
11903
转载 Struts构架中action的跳转
<br /><br /><br />1. 完整的action<br /><br /><br />type="somePackage.someActionClass"><br />name="someForm"<br />input="someJSP.jsp"<br /><br /><br /><br />首先，Struts的ActionServlet接收到一个请求，然后根据struts-config.xml的配置定位到相应的mapping（映射）；接下来如果form的范围是req
2010-09-02 11:10:00
696
原创 Red Hat Enterprise Linux 3 Red Hat Enterprise Linux 3 Red Hat Enterprise Linux 3 Red Hat Enterprise Linux 3 Red Hat Ente
<br />edit /etc/module.conf as follow:<br /> <br /> <br />alias eth0 tg3<br />alias scsi_hostadapter sata_nv<br />alias usb-controller usb-ohci<br />alias usb-controller1 ehci-hcd<br />alias usb-controller usb-uhci #add this line to
2010-07-09 10:53:00
749
转载 Linux Shell编程(基础教程)
本文网址:http://bbs.bitscn.com/72875 复制1. Linux 脚本编写基础1.1 语法基本介绍1.1.1 开头 程序必须以下面的行开始（必须放在文件的第一行）： #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。 当编辑好脚本时，如果要执行该脚本，还必须使其
2010-05-17 14:55:00
829
原创 二叉树遍历非递归算法
定义节点类型如下：typedef struct node { /*二叉树的结点存储类型为链式*/ char data; struct node *lchild,*rchild;}node,*btree; 广度遍历比较简单： void layertraverse(btree t) //层次遍历,使用队列q{ queue q; q
2010-04-29 15:15:00
1122
转载 经典全排列算法
全排列的生成算法就是对于给定的字符集，用有效的方法将所有可能的全排列无重复无遗漏地枚举出来。任何n个字符集的排列都可以与1～n的n个数字的排列一一对应，因此在此就以n个数字的排列为例说明排列的生成法。 n个字符的全体排列之间存在一个确定的线性顺序关系。所有的排列中除最后一个排列外，都有一个后继；除第一个排列外，都有一个前驱。每个排列的后继都可以从它 的前驱经过最少的变化而得到，全排列的生成算法就
2010-04-21 11:13:00
1612
转载 内核态与用户态
内核态与用户态是操作系统的两种运行级别，intel cpu提供Ring0-Ring3三种级别的运行模式。Ring0级别最高，Ring3最低。其中特权级0（Ring0）是留给操作系统代码，设备驱动程序代码使用的，它们工作于系统核心态；而特权极3（Ring3）则给普通的用户程序使用，它们工作在用户态。运行于处理器核心态的代码不受任何的限制，可以自由地访问任何有效地址，进行直接端口访问。而
2010-04-01 17:07:00
917
原创 PowerPC405EP 学习（一）
作为经典的嵌入式设备处理器，其用户手册有学习并总结的必要。 一，中断机制使用一个UIC管理所有的中断，包括内部中断和外部中断。（例如，mac芯片的中断属于外部中断，）UIC：universal interrupt controller 可管理7个外部中断，23个内部中断：Interrupt Polarity Sensitivity Interrupt
2010-02-03 13:47:00
1268
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人