• 等级
  • 780379 访问
  • 279 原创
  • 411 转发
  • 3629 排名
  • 82 评论
  • 204 获赞

python操作Excel的几种方式

Python对Excel的读写主要有xlrd、xlwt、xlutils、openpyxl、xlsxwriter几种。1.xlrd主要是用来读取excel文件importxlrdworkbook=xlrd.open_workbook(u'有趣装逼每日数据及趋势.xls')sheet_names=workbook.sheet_names()forsheet_name...

2019-05-22 10:49:13

python模块:win32com用法详解

使用技巧importwin32comfromwin32com.clientimportDispatch,constantsw=win32com.client.Dispatch('Word.Application')#或者使用下面的方法,使用启动独立的进程:#w=win32com.client.DispatchEx('Word.Application')#后...

2019-05-22 10:48:16

python之python-docx编辑和读取word文档

python调用word接口主要用到的模板为python-docx,基本操作官方文档有说明。python-docx官方文档地址使用python新建一个word文档,操作就像文档里介绍的那样:1fromdocximportDocument2fromdocx.sharedimportInches34document=Document()56...

2019-05-22 10:44:06

缓存之Memcached

Memcached是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon)是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。Memcached安装和基本使用...

2019-05-22 10:24:47

redis缓存数据库

缓存数据库介绍NoSQL(NoSQL=NotOnlySQL),意即“不仅仅是SQL”,泛指非关系型的数据库,随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数...

2019-05-22 09:33:35

python之反射

反射python中的反射功能是由以下四个内置函数提供:hasattr、getattr、setattr、delattr,改四个函数分别用于对对象内部执行:检查是否含有某成员、获取成员、设置成员、删除成员。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15...

2019-05-21 21:05:34

python之configparser

configparser用于处理特定格式的文件,其本质上是利用open来操作文件。#注释1;注释2[section1]#节点k1=v1#值k2:v2#值[section2]#节点k1=v1#值1、获取所有节点 1 2 3 4 5 6 imp...

2019-05-21 20:56:09

python常用内建模块之hashlib

Python的hashlib提供了常见的摘要算法,如MD5,SHA1等等。什么是摘要算法呢?摘要算法又称哈希算法、散列算法。它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进制的字符串表示)。举个例子,你写了一篇文章,内容是一个字符串'howtousepythonhashlib-byMichael',并附上这篇文章的摘要是'2d73d4f15c0db7f...

2019-05-21 20:50:56

django+redis+celery构建实时异步任务调度系统

1、创建虚线python环境2、安装django:pip3installdjango=1.113、创建一个项目:django-adminstartprojectcelerydemo4、创建一个超级用户,方便看后台数据:python3manage.pycreatesuperuser5、创建一个app:python3manage.pystartappcelerydem...

2019-05-21 20:50:39

django之评论系统

创建评论应用相对来说,评论其实是另外一个比较独立的功能。Django提倡,如果功能相对比较独立的话,最好是创建一个应用,把相应的功能代码写到这个应用里。我们的第一个应用叫blog,它里面放了展示博客文章列表和细节等相关功能的代码。而这里我们再创建一个应用,名为comments,这里面将存放和评论功能相关的代码。首先激活虚拟环境,然后输入如下命令创建一个新的应用:pythonman...

2019-05-21 08:50:54

Python subprocess模块功能与常见用法实例详解

一、简介subprocess最早在2.4版本引入。用来生成子进程,并可以通过管道连接他们的输入/输出/错误,以及获得他们的返回值。subprocess用来替换多个旧模块和函数:os.system os.spawn* os.popen* popen2.* commands.*运行python的时候,我们都是在创建并运行一个进程,linux中一个进程可以fork一个子进程,并让这...

2019-05-20 20:17:57

python常见内置模块collections

collections是Python内建的一个集合模块,提供了许多有用的集合类。namedtuple我们知道tuple可以表示不变集合,例如,一个点的二维坐标就可以表示成:>>>p=(1,2)但是,看到(1,2),很难看出这个tuple是用来表示一个坐标的。定义一个class又小题大做了,这时,namedtuple就派上了用场:>&g...

2019-05-18 20:38:42

Python csv模块的使用

1、csv简介CSV(CommaSeparatedValues),即逗号分隔值(也称字符分隔值,因为分隔符可以不是逗号),是一种常用的文本格式,用以存储表格数据,包括数字或者字符。很多程序在处理数据时都会碰到csv这种格式的文件,它的使用是比较广泛的(Kaggle上一些题目提供的数据就是csv格式),csv虽然使用广泛,但却没有通用的标准,所以在处理csv格式时常常会碰...

2019-05-18 20:36:29

Python 库之pycurl的安装与使用方法

pycurl的简介PyCURL是一个Python接口,它是多协议文件传输库的LIbCURL。类似于URLLIBPython模块,PyCURL可以用来从Python程序获取URL所标识的对象。然而,除了简单的获取,PyCURL公开了LIbCURL的大部分功能,包括:速度-LIbCURL非常快,并且PycURL作为LiCURL之上的薄包装器也是非常快的。PycURL被标榜为比请求快几倍...

2019-05-18 20:34:18

Django模板中使用消息message框架

在web应用程序中,通常需要在处理表单或其他类型的用户输入之后向用户显示一次性通知消息(也称为“flashmessage”)。为此,Django为匿名用户和经过身份验证的用户提供了对基于cookie和会话的消息传递的完全支持。messages框架允许您在一个请求中临时存储消息,并检索它们以在后续请求(通常是下一个请求)中显示。每条消息都有一个确定优先级的特定级别(例如,info、warnin...

2019-05-09 19:57:04

python框架Scrapy中crawlSpider的使用——爬取内容写进MySQL

一、先在MySQL中创建test数据库,和相应的site数据表二、创建Scrapy工程#scrapystartproject工程名scrapystartprojectdemo4三、进入工程目录,根据爬虫模板生成爬虫文件#scrapygenspider-l#查看可用模板#scrapygenspider-t模板名爬虫文件名允许的域名scrapyge...

2019-05-08 09:42:47

Scrapy之设置随机IP代理(IPProxy)

当我们需要大量的爬取网站信息时,除了切换User-Agent之外,另外一个重要的方式就是设置IP代理,以防止我们的爬虫被拒绝,下面我们就来演示scrapy如何设置随机IPProxy。设置随机IPProxy同样的你想要设置IPProxy,首先需要找到可用的IPProxy,通常情况下,一些代理网站会提供一些免费的ip代理,但是其稳定性和可用性很难得到保证,但是初学阶段,只能硬着头皮去找了,...

2019-05-06 21:07:43

Scrapy之设置随机User-Agent

大多数情况下,网站都会根据我们的请求头信息来区分你是不是一个爬虫程序,如果一旦识别出这是一个爬虫程序,很容易就会拒绝我们的请求,因此我们需要给我们的爬虫手动添加请求头信息,来模拟浏览器的行为,但是当我们需要大量的爬取某一个网站的时候,一直使用同一个User-Agent显然也是不够的,因此,我们本节的内容就是学习在scrapy中设置随机的User-Agent。Scrapy中设置随机User-Ag...

2019-05-06 21:06:25

Scrapy之下载器中间件(Downloader Middleware)

下载器中间件是介于Scrapy的request/response处理的钩子框架,是用于全局修改Scrapyrequest和response的一个轻量、底层的系统。激活DownloaderMiddleware要激活下载器中间件组件,将其加入到DOWNLOADER_MIDDLEWARES设置中。该设置是一个字典(dict),键为中间件类的路径,值为其中间件的顺序(order)。像下面...

2019-05-06 20:02:33

Scrapy之FilesPipeline和ImagesPipline文件与图片下载

MediaPipelineScrapy为下载item中包含的文件(比如在爬取到产品时,同时也想保存对应的图片)提供了一个可重用的itempipelines.这些pipeline有些共同的方法和结构(称之为mediapipeline)。我们可以使用FilesPipeline和ImagesPipeline来保存文件和图片,他们有以下的一些特点:FilesPipeline 避免...

2019-05-06 19:20:41

菲宇

Linux运维工作者
关注
  • 媒体·出版·文化传播/技术主管
  • 中国 广东省 广州市
奖章
  • 专栏达人
  • 持之以恒
  • 1024勋章
  • 勤写标兵Lv1