- 博客(39)
- 收藏
- 关注
RSS订阅原创 Shuffle's getMapOutput() fails with EofException, followed by IllegalStateExcept
在查看tasktracker日志时，发现报错2013-12-18 15:56:29,527 WARN org.mortbay.log: Committed before 410 getMapOutput(attempt_201311271626_585288_m_000024_0,2) failed :org.mortbay.jetty.EofException...2...
2013-12-18 18:29:47
102
pig自定义输出文件名，重写StoreFunc
需要实现四个方法：getOutputFormat()prepareToWrite(RecordWriter writer)putNext(Tuple tuple)setStoreLocation(String location, Job job) setStoreLocation(String location, Job job)设...
2013-12-06 17:04:38
206
原创 python 使用ConfigParser，ConfigObj读取配置
使用python 从配置文件获取配置：import ConfigParser config = ConfigParser.ConfigParser() #@staticmethod def getValue(keyName): with open('./conf/system.properties', 'r') as cfg: conf...
2013-09-25 16:14:09
479
原创 python tarfile-打包解包
最近项目上有一个ftp上传程序，需要把碎文件打包上传，到服务端再解包。本来已经只能通过shell来搞这个了，无奈打包过程中有一部分业务逻辑，不能把整个目录都打包，惊喜地发现python有tarfile这个东西，太惊喜了，试用完后发现还挺不错，打包一组466M的文件，共778个文件花了1.9s，解包花了2.3s。打包，解包代码如下：tar打包在写打包代码的过程中，使用tar.add...
2013-09-12 17:20:15
603
原创 Linux查看系统资源占用命令
top:======================================主要参数d：指定更新的间隔，以秒计算。q：没有任何延迟的更新。如果使用者有超级用户，则top命令将会以最高的优先序执行。c：显示进程完整的路径与名称。S：累积模式，会将己完成或消失的子行程的CPU时间累积起来。s：安全模式。i：不显示任何闲置(Idle)或无用(Zombie)的行程。n：显示更新的次数，完成...
2013-08-05 10:21:17
641
原创 禅道linux安装
组里面用敏捷，初步打算用禅道，打算把禅道部署在Linux服务器上。安装步骤如下：1、下载由于是新机器，没有安装Php,mysql,apache之类的，就打算下载一个一键部署包，http://dl.zentao.net/4.1/ZenTaoPMS.4.1.stable.linux.7z2、安装下载下来后，按照网站的介绍(http://www.zentao.net/help-read...
2013-07-29 18:08:42
124
原创 禅道关联svn
禅道专业版价位http://www.cnblogs.com/zentaoms/ 禅道软件下载及安装地址http://www.zentao.net/article-view-78950.html安装完成后需要运行init.sh，生成命令行脚本http://www.zentao.net/help-read-79777.html下面就是关联svnhttp://www.ze...
2013-07-04 14:44:29
710
原创 MYSQL使用Limit限定更新行数
上下文：想要修改config表，将其中5607行的is_ok改为true。 想通过下面的sql语句实现UPDATE channel_config set is_adam_pub=1 where channel_id in (select channel_id from channel_config limit 5607); 发现Mysql不能支持子句使用Limi...
2013-04-16 11:34:02
1182
原创 java volatile关键字
volatile关键字有什么用？举个例子:private volatile int v;public void func(){ int a=5*v; int b=5*v; ....} 如果v是个普通的变量,编译器很可能会做这样的优化, 第一次计算出5*v的值后,先赋给a,然后直接又从寄存赋给b, 而不会重新计算5...
2013-04-09 09:18:14
66
原创 hadoop job推测执行
什么是推测执行？所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任务哪个先执行完就把另外一个kill掉 怎么...
2013-04-08 19:32:25
154
原创 用Eclipse Memory Analyzer查找内存泄露
系统上线后，程序报出out of memory错误。一方面先加大程序运行的内存以解燃眉之急，另一方面希望能有个工具能查出内存泄露的原因。 通过查阅资料发现了Memory Analyzer这个eclipse插件，下面讲下怎么用。 首先，获取Heap dump文件。 有三种方式： 1、设置JVM参数，-XX:+HeapDumpOnOutOfM...
2013-03-07 10:28:31
337
原创 flask-sqlachemy note
betweendatetime按天查询 Myclass.query.filter(myClass.date.between(_date, _date+timedelta(days = 1))) filter 和 filter_by的区别 session.query(MyClass).filter(MyClass.name == 'some name')session...
2012-12-10 17:15:10
114
原创 用正则表达式匹配w3c日志，导入hive
用正则表达式匹配w3c日志，导入hivew3c格式建表语句： CREATE EXTERNAL TABLE w3c( host STRING, ident STRING, username STRING, log_date STRING, method STRING, uri STRING, version STRING, status S...
2012-11-08 17:00:07
234
原创 Excel中导入Unix格式时间戳小技巧
简介Excel中导入Unix格式时间戳小技巧步骤/方法Excel默认不支持Unix格式时间戳，这在导入数据时十分不便。可以用以下公式将时间戳转换成Excel格式的时间：=(x+8*3600)/86400+70*365+19 其中x为时间戳的单元格，8*3600中的8为中国的时区。然后将公式单元格设置为日期时间格式即可。转换结果如下图...
2012-10-25 11:36:44
159
原创 ftp传输两种模式--port,pasv
FTP是File Transfer Protocol(文件传输协议)的缩写，用来在两台计算机之间互相传送文件。相比于HTTP，FTP协议要复杂得多。复杂的原因，是因为FTP协议要用到两个TCP连接，一个是命令链路，用来在FTP客户端与服务器之间传递命令;另一个是数据链路，用来上传或下载数据。 PORT & PASVFTP协议有两种工作方式：PORT方式和PASV方式，中文...
2012-08-28 09:39:06
166
原创 commons-logging log4j org.slf4
commons-logginglog4j org.slf4日志介绍 日志工具 Log4jApache的一个开放源代码项目，通过使用Log4j，我们可以：日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等； 也可以控制每一条日志的输出格式； 定义每一条日志信息的级别，...
2012-08-28 09:22:09
77
原创 hbase shell commands
list 查看有什么表 list 'tablename' scan 查看表内数据 scan 'tablename'scan 'tablename' ，{ VERSION =>3 } #控制显示的行数 create 建表 create 'tablename', 'columefamily' put 插入数据 put 'tablenam...
2012-07-30 14:21:53
70
原创 Hbase CRUD Operations(Java API)
Put Method void put(Put put)throws IOException Put的构造方法 Put(byte[] row)Put(byte[] row,RowLock rowLock)Put(byte[] row,long ts)Put(byte[] row,long ts,RowLock rowLock) add() ...
2012-07-30 09:23:14
116
原创 Java中getResourceAsStream的用法
首先，Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终还是由ClassLoader获取资源。2. Class.getClassLoader....
2012-07-18 15:28:45
67
原创 Eclipse 实用快捷键
说明：前面带*号的是非常常用的快捷键，希望大家都掌握编辑---------------------------*Ctrl+1(数字1) 快速修复*Ctrl+D 删除当前行 *Ctrl+Alt+↓ 复制当前行到下一行(复制增加)*Ctrl+Alt+↑ 复制当前行到上一行(复制增加)*Alt+↓ ...
2012-04-11 14:25:28
69
原创 python 从另一个包导入文件
文件目录 _ |_utils_ | |_utils.py |_xk.py 想要从xk.py import utils.py里面的函数需要在utils里面加入__init__.py使utils不仅仅是一个文件夹，而是一个模块 如果xk.py在另一个模块里，而不是在根目录下需要在xk.py首部加上import sys...
2012-04-06 14:43:07
381
原创 python,with open
用python的时候，会经常遇到文件数据库的open，但总会不小心忘了close用with open 语句就能很好的解决这个问题，它会在语句执行完后，自动执行close（） with open('./prepare_channels.txt', 'r') as f: for s in f: channels.add(s.strip())...
2012-04-06 10:18:19
513
原创 python 如何在一个文件中调用另一个文件的类
#filename xkclass class AClass: def __init__(self,name): print namea=AClass("sadfaf") 开始尝试的是用 import xka=AClass("sadfaf") 执行出错 原因一直以为python和Java是一样的，类名要和...
2012-04-05 11:58:23
998
原创 打不开chm文件
从网上下载的chm电子书，常常会出现页面无法显示 的情况，在网上搜索了之后发现，很多人的解决方法都是修改注册表。 经过实验后，我发现了一个简单的解决办法 对于网上下载的chm，打开时会出现“您要打开此文件吗？。。。。。。打开此文件前总是询问” 如果直接点打开按钮，而不去掉 打开此文件前总是询问 的选项前的对号，那么打开之后就会无法显示网页 把 打开此文件前总是询问 的选项前的对号去掉，然后打开，就...
2012-03-31 17:15:13
62
原创 eclipse 调试时提示select failed
执行DEBUG操作时，eclipse报出错误： Cannot connect to VM select failed 解决办法是在 eclipse.ini 文件中添加参数 -Djava.net.preferIPv4Stack=true
2012-03-28 17:47:49
189
原创 eclipse maven 配置
1、maven\conf\settings.xml 设置<localRepository> 为本地存储的位置 设置<mirror> <id>Nexus</id> <name>Nexus Public Mirror</name> <url>http:
2012-03-28 17:45:24
55
fancybox 调整弹出页面的宽度
想要调整fancybox弹出页面的宽度，在网上找了好久，都没能成功 后来请师傅指点了一下，立马就成功了，方法如下 调整宽度，fancybox自带的width字段不管用如果要改的话需要在弹出的html页面顶端加一个div,设定该页面的宽度，这样就成了 <div style="width: 800px"> ...
2012-03-23 11:41:04
676
原创 python产生随机数
这些方法位于random模块中random.random(),同javascript的Math.random(),返回[0.0,1)之间的浮点数random.uniform(a, b),返回[a,b]之间的浮点数print random.uniform(10, 20) print random.uniform(20, 10) #---- 结果（不同机器上...
2012-03-15 17:47:29
351
原创 MySQL语法语句大全
一、SQL速成 结构查询语言(SQL)是用于查询关系数据库的标准语言，它包括若干关键字和一致的语法，便于数据库元件(如表、索引、字段等)的建立和操纵。 以下是一些重要的SQL快速参考，有关SQL的语法和在标准SQL上增加的特性，请查询MySQL手册。 1．创建表 表是数据库的最基本元素之一，表与表之间可以相互独立，也可以相互关联。创建表的基本语法如下： crea...
2012-03-13 14:20:10
70
原创 python time,datetime,string转换
#把datetime转成字符串def datetime_toString(dt): return dt.strftime("%Y-%m-%d-%H")#把字符串转成datetimedef string_toDatetime(string): return datetime.strptime(string, "%Y-%m-%d-%H")#把字符串转成...
2012-03-13 11:04:32
798
原创 优化从mongdb取数据python代码，用于出fusioncharts图
原始代码 def ioBandwidth(request): beginDate = request.GET.get("beginDate") collection = getCollection() data = collection.find().sort("InsertDate",pymongo.ASCENDING) mscombi2d.cat...
2012-03-09 14:02:48
88
原创 Python搭配MongoDB使用方法
Python搭配MongoDB使用方法原文地址：http://serholiu.com/python-mongodb 下面就谈谈Python操作MongoDB的一些基本用法，先介绍一下MongoDB，这是现在风头正劲的NoSQL数据库，没有关系数据库那种表之类的概念，就像Python中的字典一样，一个键对应一个值，然后这些键值组成一个文档，然后文档组成一个集...
2012-03-09 10:00:41
163
原创 Python日期和字符串的互转
原文地址：http://hi.baidu.com/qinghua9/blog/item/cf9fafccd71e661900e92870.html用的分别是time和datetime函数 import time,datetime# date to strprint time.strftime("%Y-%m-%d %X", time.localtime())#str t...
2012-03-09 09:55:02
150
原创 MongoDB Windows 下安装部署
原文地址：http://www.cnblogs.com/yudigen/archive/2012/01/12/2320212.html 下面主要是我在Windows上（Win7）安装、运行、安装Windows服务的笔记，以作备忘。 1、下载 下载地址：http://www.mongodb.org/downloads 从其下载页面就可以看出MongoDB还真...
2012-03-06 16:58:07
57
原创 fusioncharts出图
昨天下午加今天上午一直在调程序结果调到最后，发现所有的问题无外乎两种1、需要的文件没有导入2、中文乱码问题 json里所有的数据都是没编码的，所以如果要写中文的话，需要在前面加上u 利用数据出图代码html <div id="chart-bandwidth"></div> $('#submit').click(functio...
2012-03-06 15:36:13
68
原创 python **args * args
转载 http://jimi68.iteye.com/blog/200514 先来看个例子： Pthon代码 def foo(*args, **kwargs): print 'args = ', args print 'kwargs = ', kwargs print '------------------------------...
2012-03-06 10:28:20
73
原创 django book-学习笔记（第四章)
第四章 模版 点语法1、用来引用对象的* 方法*。 >>> t = Template('{{ var }} -- {{ var.upper }} -- {{ var.isdigit }}')>>> t.render(Context({'var': 'hello'}))u'hello -- HELLO -- False'&g...
2012-02-27 18:06:20
120
原创 django book-学习笔记（第三章)
第三章视图和URL配置 一个视图就是Python的一个函数。这个函数第一个参数的类型是HttpRequest；它返回一个HttpResponse实例。为了使一个Python的函数成为一个Django可识别的视图，它必须满足这两个条件。（也有例外，但是我们稍后才会接触到。) 正则表达式符号匹配. (dot) 任意...
2012-02-27 17:45:46
65
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人