wumxiaozhu-CSDN博客

原创教你如何上传本地文件到github

教你如何上传本地文件到github1,进入个人主页后，点击右上角的+号，选择New repository 创建自己的项目2，复制自己的项目地址，后面会用到:(如下图)3，接下来，我们需要先下载Git，这里最好下载最新版本的Git，这里附上我下载的Git2.6.2的网址：https://git-scm.com/downloads，一直下一步就可以了，安装完成之后，双击打开Git Bash...

2018-09-17 21:00:52 434

原创 scrapy开启ImagePilelin

1 在settings中写入 IMAGES_STORE = ‘./images’ 开启ITEM_PIPELINES ={ ‘someproject.pipelines.ImagePipeline’ : 300,} 2 在pipelines中写入 `class ImagePipeline(ImagesPipeline): def file_path(self, re...

2018-09-05 18:20:32 230

原创 [爬虫]python下的xpath清洗数据之html数据清洗

现在我们面对一些爬虫数据，特别是对于web网页的爬取的时候，网页总有一些不规整的数据来导致拿数据的麻烦，比如如下这种<html> <div> 111222333444 <s

2018-08-28 15:58:06 2955

转载同步与异步，阻塞与非阻塞

同步与异步同步与异步的区别在于结果的提取者是由请求者等待得来，还是由处理者得到结果直接返回，关注的是结果的处理同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)所谓同步，就是在发出一个调用时，在没有得到结果之前，该调用就不返回。但是一旦调用返回，就得到返回值了换句话说，就是由调用者主动等待这个调...

2018-08-28 14:56:47 154

原创 python模拟登陆，用session维持回话

python模拟登陆的几种方法客户端向服务器发送请求，cookie则是表明我们身份的标志。而“访问登录后才能看到的页面”这一行为，恰恰需要客户端向服务器证明：“我是刚才登录过的那个客户端”。于是就需要cookie来标识客户端的身份，以存储它的信息（如登录状态）1，先在浏览器中登录，然后打开开发者选项，找到一个请求方法为POST的请求，复制Requests Headers中的cookie在爬...

2018-08-09 19:07:15 9778 1

原创 scrapy中Request方法中的meta参数有什么用，怎么用。

初学scrapy可能会有点蒙圈，今天和大家分享下scrapy中Requestmeta参数的用法首先我们要知道meta是一个字典，它的主要作用是用来传递数据的，meta = {‘key1’:value}，如果想在下一个函数中取出value1, 只需得到上一个函数的meta[‘key1’]即可，因为meta是随着Request产生时传递的，下一个函数得到的Response对象中就会有meta，...

2018-08-02 22:12:43 21784 12

原创 selenium如何应对网页内容需要鼠标滚动加载的问题

相信大家在selenium爬取网页的时候都遇到过这样的问题：就是网页内容需要用鼠标滚动加载剩余内容，而不是一次全部加载出网页的全部内容，这个时候如果要模拟翻页的时候就必须加载出全部的内容，不然定位元素会找不到，出现报错。这里提供两种方法供大家参考一，通过selenium模拟浏览器，然后设置浏览器高度足够长，最后延时使之能够将页面的内容都能够加载出来import timefrom ...

2018-08-02 08:40:52 11150

原创 pip install scrapy报错，教你如何正确安装scrapy。

scrapy安装方法一，如果初学python，并且你的python也是使用Anaconda安装的，哪么使用Anaconda是你最快捷的办法。 1，进入Adaconda官网：https://www.anaconda.com/download/，点击下载对应版本。 2，安装完成之后在cmd命令框中输入：conda install scrapy 3，OK，scrapy安装成功。如果想使用p...

2018-07-30 08:51:41 18198 6

原创 pycharm代码提示，pycharm开启代码补全功能。

有时候不小心瞎探索pycharm的时候把代码提示给关了怎么办解决方法：点击左上角file，找到power save mode，把这个前面的√号去掉就能正常显示啦。

2018-07-28 23:02:04 14584 2

原创不要慌，在pycharm中运行scrapy报错，用Anaconda安装scrapy在pycharm中运行报错的问题

超级简单的方法处理在pycharm中运行scrapy报错，用Anaconda安装scrapy在pycharm中运行报错的问题

2018-07-28 22:51:40 2043

wumxiaozhu的博客