penglei0901的专栏

原创 协程介绍

先了解进程和线程

原创 ssh、telnet、sftp的简单使用

ssh [email protected] -p 1522sftp -P 1522 [email protected]交互命令：上传put new.txt /home/chen/#将本地当前目录下的new.txt上传到远程主机的/home/chen/目录下载get /home/chen/new.txt #将远程主机的/home/chen/new.tx

原创 简历要领

要在简历中突显自己的“卖点”，可采用5W1H（即Who、What、Why、Where、When和How）的写作方式，剖析自己过往的工作经历、工作内容、工作职责。 而要重点说明某一项工作的执行情况时，可采用“PAR”法则，“P”即问题（Problem）、“A”即采取的行动（Action）、“R”即工作的结果和业绩（Result）。从这三方面，你可以用简洁清晰地陈述事件，精炼又到位。而数字和专业术

原创 有关python生成器和协程

生成器使用

原创 有关python的apply()函数

python apply函数的具体的含义： apply(func [, args [, kwargs ]]) 函数用于当函数参数已经存在于一个元组或字典中时，间接地调用函数。args是一个包含将要提供给函数的按位置传递的参数的元组。如果省略了args，任 何参数都不会被传递，kwargs是一个包含关键字参数的字典。

原创 计算机科学中最重要的32个算法

奥地利符号计算研究所（Research Institute for Symbolic Computation，简称RISC）的Christoph Koutschan博士在自己的页面上发布了一篇文章，提到他做了一个调查，参与者大多数是计算机科学家，他请这些科学家投票选出最重要的算法，以下是这次调查的结果，按照英文名称字母顺序排序。A* 搜索算法——图形搜索算法，从给定起点到给定终点计算出路径

转载 python中json.dumps使用及字符编码

我们知道，python中的字符串分普通字符串和unicode字符串，一般从数据库中读取的字符串会自动被转换为unicode字符串下面回到重点，使用json.dumps时，一般的用法为：>>> obj={"name":"测试"}>>> json.dumps(obj)'{"name": "\\u6d4b\\u8bd5"}'>>> print json.dumps(obj){"n

原创 python模仿登录

模仿登录豆瓣

转载 [Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

版本号：Python2.7.5，Python3改动较大，各位另寻教程。所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。在Python中，我们使用urllib2这个组件来抓取网页。urllib2是Python的一个获取URLs

转载 [Python]网络爬虫（一）：抓取网页的含义和URL基本构成

一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如

原创 scrapy中的FormRequest

原创 Ubuntu下自带的截图工具

个人觉的Ubuntu附件自带的抓图工具就很不错了，这个是它的主界面但每次截图都要进去打开它就麻烦了，可不可以设置快捷键呢，就像QQ的那种按下Ctrl+Alt+A就可以截图呢当然可以了（就下大致过程，要想加其它程序快捷键的也类似）首先要查看下这个抓图软件的命令参数，运行一个终端输入gnome-screenshot -h就可以了用法：gnome-screenshot [选项

转载 Python正则表达式指南

1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语

原创 ImportError: No module named items

spiders 目录中的.py文件不能和项目名同名。

原创 ubuntu下启动、停止和重启mysql

启动mysql：方式一：sudo /etc/init.d/mysql start 方式二：sudo start mysql方式三：sudo service mysql start 停止mysql：方式一：sudo /etc/init.d/mysql stop 方式二：sudo stop mysql方式san：sudo service

原创 ubuntu下mysql的ERROR 2002

在网上查了一个多小时，捣鼓了

原创 Python连接MySQL中有关中文乱码的解决问题

用了下面几个措施，保证MySQL的输出没有乱麻：    1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8)    2 MySQL数据库charset=utf-8    3 Python连接MySQL是加上参数 charset=utf8    4 设置Python的默认编码为 utf-8 (sys.setdefaultencod

转载 scrapy入门基础一

我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline）：设计管道存储爬取内容好的，基本流

原创 ubuntu的mysql的root用户的密码修改问题

mysql root用户密码忘记或者是权限不对。1. 先停止mysqlsudo service mysql stop2. 运行mysqld_safesudo mysqld_safe --user=mysql --skip-grant-tables --skip-networking3. 命令行下进入数据库

转载 机器学习算法与Python实践之（二）k近邻（KNN）

kNN进阶       这里我们用kNN来分类一个大点的数据库，包括数据维度比较大和样本数比较多的数据库。这里我们用到一个手写数字的数据库，可以到这里下载。这个数据库包括数字0-9的手写体。每个数字大约有200个样本。每个样本保持在一个txt文件中。手写体图像本身的大小是32x32的二值图，转换到txt文件保存后，内容也是32x32个数字，0或者1，如下：       数据

转载 机器学习算法与Python实践之（一）k近邻（KNN）

机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书的过程来学习了。 一、kNN算法分析       K最近邻（k-Nearest Neighbor，KNN）分类算法可以说是最简单的机器学

原创 python中的排序和numpy中的排序

argsort函数返回的是数组值从小到大的索引值One dimensional array:一维数组        >>> x = np.array([3, 1, 2])    >>> np.argsort(x)    array([1, 2, 0])        Two-dimensional array:二维数组        >>> x = np

转载 机器学习一

tile函数        在看机器学习实战这本书时，遇到numpy.tile(A,B)函数，愣是没看懂怎么回事，装了numpy模块后，实验了几把，原来是这样子：重复A，B次，这里的B可以时int类型也可以是远组类型。[python] view plaincopyprint?>>> import numpy  >>> nu

原创 Python核心编程第十二章笔记

导入模块使用import语句导入模块,它的语法如下所示:importmodule1importmodule2:importmoduleN也可以在一行内导入多个模块,像这样importmodule1[, module2[,... moduleN]]from-import语句你可以在你的模块里导入指定的模块属性。也就是把指定名称导入到当前作用域。 使

原创 Python核心编程第十一章笔记

返回值与函数类型>>def hello():...print 'hello world'>>>>>>res = hello()helloworld>>>res>>>print resNone>>>type(res)deffoo():print'in foo()'bar()defbar():print'in bar()'

原创 Python核心编程第十章笔记

with语句withopen('/etc/passwd', 'r') as f:foreachLine in f:#...do stuff with eachLine or f...断言语句下面有一些演示assert用法的语句:assert 1 == 1assert 2 + 2 == 2 * 2assert len(['my list', 12]) as

原创 Python核心编程第九章笔记

文件内建函数[open()和file()]file_object= open(file_name, access_mode='r', buffering=-1)file_name是包含要打开的文件名字的字符串,它可以是相对路径或者绝对路径access_mode代表文件打开的模式.buffering可选参数，用于指示访问文件所采用的缓冲方式.其中0表示不缓冲,1表示只缓冲一行数据

原创 Python核心编程第八章笔记

条件表达式(即"三元操作符")>>>smaller = x if x >>>smaller3===使用项和索引迭代===>>>nameList = ['Donn', 'Shirley', 'Ben', 'Janice',...'David','Yen', 'Wendy']>>>for i, eachLee in enumerate(nameList):...

原创 Python核心编程第七章笔记

创建字典>>>dict1 = {}>>>dict2 = {'name': 'earth', 'port': 80}>>>dict1, dict2({},{'port': 80, 'name': 'earth'})>>>fdict = dict((['x', 1], ['y', 2]))>>>fdict{'y':2, 'x': 1}>>ddict = {}.fromk

原创 Python核心编程第六章笔记

成员关系操作符(in,not in)equence1+ sequence2该表达式的结果是一个包含sequence1和sequence2的内容的新序列.注意,这种方式看起来似乎实现了把两个序列内容合并的概念,但是这个操作不是最快或者说最有效的。>>>>>>>>>......abcs= 'abcde'i= -1fori in range

原创 Python核心编程第五章笔记

创建数值对象anInt= 1更新数字对象anInt+= 1删除数字对象delanInt复数属性num.real该复数的实部numnum.imag该复数的虚部num.conjugate()返回该复数的共轭复数在确实需要明确指定对某种数据类型进行特殊类型转换的场合,Python提供了coerce()内建函数来帮助你实现这种

原创 Python核心编程第四章笔记

所有的Python对像都拥有三个特性:身份,类型和值。身份:每一个对象都有一个唯一的身份标识自己,任何对象的身份可以使用内建函数id()来得到。这个值可以被认为是该对象的内存地址。类型：象的类型决定了该对象可以保存什么类型的值,可以进行什么样的操作,可以用内建函数type()查看Python对象的类型。值：对象表示的数据项标准类型数字(分为几个子类型

原创 Python核心编程第三章笔记

井号(#)表示之后的字符为Python注释反斜线 (\ )继续上一行分号 (; )将两个语句连接在一行中冒号 (: )将代码块的头和体分开C语言赋值语句，被当成一个表达式(可以返回值)。Python的赋值语句不会返回值。>>>x = 1>>>y = (x = x + 1)#assignments not expressions! File "

原创 Python核心编程第二章笔记

print语句调用str()函数显示对象,交互式解释器则调用repr()函数来显示对象。标准输入读取一个字符串并自动删除串尾的换行字符。如果用入键入了EOF字符(Unix:Ctrl+D,Windows: Ctrl+Z+回车),则引发EOFError。Python不支持C语言中的自增1和自减1运算符,这是因为+和-也是单目运算符

原创 ubuntu下的解压缩命令

一、ubuntu 下rar解压工具安装方法：压缩功能安装 sudo apt-get install rar卸载 sudo apt-get remove rar解压功能安装 sudo apt-get install unrar卸载 sudo apt-get remove unrar二、ubuntu解压命令全览.tar解包：tar xvf

原创 bin/nutch crawl log4j:ERROR setFile(null,true) call failed. java.io.FileNotFoundException: /usr/nut

log4j:ERROR setFile(null,true) call failed.java.io.FileNotFoundException: /usr/nutch1.4/runtime/local/logs/hadoop.log (No such file or directory)是因为log4j.properties 和其他的应用程序重名的原因。

原创 安装mysqldb

Ubuntu操作系统:apt-get install python-mysqldb

原创 python与json

广告气球http://www.ca-xyy.com/ 吹膜机http://www.staohua.com/ JSON到字典转化： dictinfo = simplejson.loads(json_str) 输出dict类型 字典到JSON转化： jsoninfo = simplejson.dumps(dict)输出str类型 比如：  info = {'name' : 'jay',

转载 screen与协同工作让ssh在路由断后程序始终运行

screen是系统管理员手中的一件利器，下面我把它介绍给你，相信你会和我一样，认可这个非常棒的软件一，什么情况下会用到screen?   比如说，我们在运行一个非常费时间的程序，注意：可能我们是在通过ssh远程连接到托管在机房中的机器上，如果这个期间，网络出现中断（这个可以说是很正常的情况，别不信，我讲一件我亲历的例子），则我们正在运行的程序就会中止（为什么会这样？我稍后解

转载 非常的好的协同过滤入门文章(转载)

“探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制，实现方法，其中还涉及一些基本的优化方法，例如聚类和分类的应用。同时在理论讲解的基础上，还会结合 Apache Mahout 介绍如何在大规模数据上实现各种推荐策略，进行策略优化，构建高效的推荐引擎的方法。本文作为这个系列的第一篇文章，将深入介绍推荐引擎的工作原理，和其中涉及的各种推荐机制，以及它们各自的优缺点和适用场景，帮助