修炼的Coder-CSDN博客

原创 Python算法：关于数据的线性增长与二次方增长的比较

t1 = time.time()count = 10**5nums = []for i in range(count): nums.insert(0, i) t2 = time.time()print(t2-t1)对于上方的一次数据比较计算得到的时间为：3.6809728145599365目的：是因为在实际应用中，为了实现数值最近优先的原则，我们希望这些...

2018-10-08 23:11:37 1157

原创 python爬虫：Selenium模拟浏览器爬取淘宝商品信息

1.数据提取前期网页分析分析：淘宝网页数据也是通过Ajax技术获取的，但是淘宝的API接口参数比较复杂，可能包含加密密匙等参数；所以，想要通过自己构造API接口获取完整网页信息很难实现（可能只有部分信息），如下图：图一实际的网页信息，每一网页有44条商品信息图二实际后台的API接口可以找到，但信息不完整（只有11条商品信息），而且部分参数加密所以，分析至此，不采用Ajax分析；直接使用Se...

2018-05-06 17:55:25 2133

原创 python爬虫：使用scrapy框架抓取360超清壁纸（10W+超清壁纸等你来爬）

目的：闲着无聊，利用爬虫爬取360超清壁纸，并将其数据存储至MongoDB/MySQL中，将图片下载至指定文件夹。要求：确保以安装MongoDB或者MySQL数据库、scrapy框架也肯定必须有的；使用python环境：python3.5；且使用的是Chrome浏览器。1.网站抓取前期分析首先，进行数据抓取网站的分析,这里将要抓取的网站为['http://image.so.com/'],进入首页，...

2018-05-05 23:05:02 3305

原创 python爬虫之Scrapy框架:两种随机选择User-Agent的方法

修改请求时的User-Agent一般有两种思路:一是修改setting中的User-Agent变量(适用于极少量的agent更换,一般不采用);另一种就是通过Downloader Middleware的process_request()方法来修改,即在middlewares.py里面添加一个RandomUserAgentMiddleware的类.首先介绍下scrapy框架默认的UserAgentM...

2018-05-05 14:20:18 2652

原创解决错误: TypeError: 'str' object is not callable

该错误TypeError: 'str' object is not callable字面上意思:就是str不可以被系统调用,其实原因就是:你正在调用一个不能被调用的变量或对象，具体表现就是你调用函数、变量的方式错误.所以,这个错误想表达的就是:str()是系统自带的，你不能在用它的时候自己同时定义一个别的叫做str的变量，这样会冲突.举个例子,便于理解:class Book: def __...

2018-05-04 00:40:34 202554 5

原创 scrapy小结

1、讲述下scrapy框架,并阐述工作流程： ScrapyEngine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器):它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需...

2018-04-24 02:40:47 1192

原创使用Scrapy时遇到：UserWarning: You do not have a working installation of the service_identity module

如下：UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from <https://pypi.python.org/pypi/service_identity> an...

2018-04-17 18:42:35 3581

原创 requests请求出现RequestsDependencyWarning异常

对于出现该waring：RequestsDependencyWarning: urllib3 (1.13.1) or chardet (2.3.0) doesn't match a supported version!RequestsDependencyWarning)解决办法：sudo pip install --upgrade urllib3sudo pip install --upgrade...

2018-04-17 12:00:29 20222 3

原创 ubuntu 16.04进入与退出root权限

1、进入root：登入管理员账户，写入：sudo passwd root输入密码，然后写入：su root 进入root账户，直接把$变成#，出现#说明root设置成功。2、退出root权限：退出时有三种方法: ctrl+D, exit, ...

2018-04-08 19:53:00 11010

原创 python爬虫之Scrapy框架Item Pipeline（4）

Item Pipeline当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：验证爬取的数据(检查item包含某些字段，比如说name字段)查重(并丢弃)将爬取结果保...

2018-04-08 16:54:14 251

原创 python爬虫之Scrapy框架Scrapy-Shell（3）

Scrapy ShellScrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。（推荐安装IPy...

2018-04-08 15:44:05 258

原创 python爬虫之Scrapy框架安装（2）

Scrapy的安装介绍：Scrapy框架官方网址：http://doc.scrapy.org/en/latestScrapy中文维护站点：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.htmlWindows 安装方式Python 2 / 3升级pip版本：pip install --upgrade pip通过pip 安装 Scrapy 框架...

2018-04-08 14:43:06 185

原创 python爬虫之Scrapy框架（1）

Scrapy 框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各...

2018-04-08 14:37:10 304

修炼的Coder