- 博客(9)
- 收藏
- 关注
RSS订阅转载 网络爬虫---scrapy项目中Request()的meta参数详解
1.scrapy项目中Request()的参数meta的解释Request的参数meta作用是将meta中的信息传递个下一个回调函数，使用过程可以理解为：'''如果回调函数中，需要用到上一个函数中的数据，那我们可以把该数据赋值给变量meta，让它传给回调函数，但是meta只接受字典类型的数据，所以，我们要把待传递的信息改成字典形式，即：meta = {'key1': 'value1', 'key2': 'value2'}如果想在下一个函数中取出value1: value = r
2021-11-19 18:19:37
3638
转载 Scrapy详解之Request
介绍Request类是一个http请求的类，对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个请求，在Downloader中执行这样的一个请求。同时也有一个子类FormRequest继承于它，用于post请求。在Spider中通常用法： yield scrapy.Request(url = 'zarten.com')类属性和方法有：urlmethodheadersbodymetacopy()replace([url,method,headers,b...
2021-11-19 17:59:51
771
1
原创 各种推导式总结
推导式推导式是从一个或者多个迭代器快速简洁地创建数据结构的一种方法。它可以将循环和条件判断结合，从而避免语法冗长的代码。会使用推导式有时可以说明你已经超越了python初学者的水平。也就是说使用推导式更像Python风格。一、列表推导式 之前已经说过创建列表的多种方法，使用[ ] 、list() 、str.split() 等方法，除此之外，列表推导式也是生成具有一定规律的列表的方法。如创建...
2018-03-19 12:19:18
1479
原创 列表的创建方法
一、使用 [ ] 创建列表a = [1 ,2 ,3 ,4 ,5]b = ['cat', 'dog', 'chick']二、使用 list() 创建空列表empty_list = list()等价于：empty_list = []三、使用列表生成式创建列表[ expression for items in iterable ]上面的 expression 部分可以为表达式。例如：number_lis...
2018-03-19 10:39:02
9486
原创 列表的赋值与复制
一、python是面向对象的编程语言 python里的数据、大型数据结构、函数以及程序都是以对象（object）的形式存在的。对象就像一个盒子，里面装的是数据，也有人说我们电脑的内存就像一个大厦，大厦里的每个房间都可以存储对象，而这些对象的引用方式就是房间的门牌号。二、赋值的本质赋值的操作其实相当于给盒子贴上标签。这个盒子就相当于我们内存中的一块地址。下面我们来看一下下面这段代码的含义：a ...
2018-03-18 19:47:25
6291
原创 python 字符串相关（二）
一、使用 [偏移量] 提取字符1. 在字符串后加[ ]可以提取字符串中的单个字符2. 字符串中的第一个偏移量为0，下一个是1，以此类推。最后一个字符的偏移量可以用-1表示，偏移量从右到左紧接着 为 -2 ，-3 .......3. 字符串是不可变的，所以无法直接插入字符或改变指定位置的字符。二、字符串切片[start : end : step ] ...
2018-03-18 16:53:59
144
原创 python 字符串相关（一）
一、字符串的创建（1）用一对单引号或一对双引号创建字符串：‘name’ ‘snap’ ”crakle“ 还可以用单引号创建包含双引号的字符串，用双引号创建包含单引号的字符串。"'Nay',said the naysyer"'A"two by four is" actually 1 1/2" *3 1/2".'（2）用三对单引号或三对双引号创建多行字符串： ''' hel...
2018-03-14 21:14:51
207
原创 python中的转义符\
python允许对某些字符进行转义操作，来实现一些难以单纯用字符描述的效果。具体见python中的转义符及其应用需要输入 \ 字符本身时，用 \\ 代替即可。
2018-03-14 20:50:02
6879
原创 Python 中的运算、整数、基数、数据类型转换
一、python运算符python运算符运算符描述+加法-减法*乘法/除法//除法（取商）%除法（取余）**幂二、整数 a=a+3 --------> a+=3 a=a*b --------> a*=b a=a/5 --------> a/=5 divmod(商，余数) 函数可以同时得到余数和商三、基数 ...
2018-03-14 20:22:14
1109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人