- 博客(18)
- 收藏
- 关注
RSS订阅原创 python 爬虫 多线程
多线程介绍 多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。 threading模块 threading模块是python中专门提供用来做多线程编程的模块，常用类是Thread。 import threading import time def coding(): for x in renge(3): ...
2020-05-02 10:02:05
334
转载 python 爬虫 正则表达式
正则表达式概述 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 正则表达式的大致匹配过程是： 1.依次拿出表达式和文本中的字符比较， 2.如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。 3.如果表达式中有量词或边界，这个过程会稍微有一些不同。 正则表达式...
2020-04-14 09:04:59
168
原创 XPath语法与lxml模块
XPath概述 xpath是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历 xpath语法 使用方式 使用//获取整个页面当中的元素，然后写标签名，然后在写谓词进行提取 //div[@class='abc'] 需要注意的知识点 1./和//的区别：/代表只获取直接子节点。//获取子孙节点。一般//用的比较多，当然也要视情况而定。 2.contain...
2020-04-13 10:42:29
121
原创 python 爬虫 requests 库
requests库安装 pip install requests 发送GET请求 1.通过get请求 response = requests.get("网址") . 2.添加headers和查询参数 import requests kw = {'wd':'XX'} headers = {"User-Agent":"..."} response = requests.get("网址",param...
2020-04-10 08:45:42
96
原创 Cookie原理详解
cookie概述 在网站中，HTTP请求时无状态的，也就是说即使第一次和服务器连接后并且登陆成功后，第二次服务器依然当前请求是哪个用户。cookie出现就是为了解决这个问题，第一次登录后服务器会返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送红第二个请求时，就会自动地把上次请求存储的cookie数据自动的携带给服务器，服务器通过浏览器携带的数据就能判断当前用户是哪个了。co...
2020-04-09 15:30:11
253
原创 urllib库
urllib库概述 urllib库是Python中的一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 urlopen函数 python3的urllib库中所有和网站请求相关的方法都被集中，在’urllib.request’模块中，urlopen可以将当页全部代码爬下来 from urllib import request res = reque...
2020-03-16 22:01:29
106
原创 htttp协议和chrome抓包工具
HTTP协议和HTTPS协议 HTTP协议，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法，服务器端口是80端口。 HTTPS协议是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口是443端口。 URL解析 URL是Uniform Resource Locator的简写，统一资源定位符。 常用的请求方法 在http协议中，定义了八种请求方法。这里介绍两种常用的请求...
2020-03-16 21:19:52
717
原创 网络爬虫概述
网络爬虫了解 爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页，并把数据抓取下来，然后使用一定的规则提取有价值的数据。 实际例子：搜索引擎(谷歌、百度等) 通用爬虫和聚焦爬虫 通用爬虫是搜索引擎系统的重要组成部分，主要将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 聚焦爬虫是面向特定需求的一种爬虫程序，与通用爬虫的区别在于，聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理...
2020-03-16 10:39:29
351
原创 python3函数
函数 把具有独立功能的代码块组织一个小模块，在需要的时候调用 函数使用包含两个步骤： 1.定义函数（封装独立功能） 2.调用函数（享受封装成果） 函数的作用：在开发程序时，使用函数可以提高编写的效率以及代码的重用 函数定义 def 函数名() 函数封装的代码 def是define的缩写 函数调用 函数名() 跳转找源：ctrl+鼠标左键，点击要找的 函数文档注释 给函数添加注释应在定义...
2020-02-11 21:57:01
79
原创 python3变量与文件操作
变量 定义变量：变量名 = 存储变量中的值 变量类型 数字型：整型，浮点型，布尔型，复数型 非数字型：字符串，列表，元组，字典 python中定义变量不需要指定类型 变量命名规则 在定义变量时，为保证代码格式，=两边加空格 变量名由多个单词组成，可以用下划线（first_name）或驼峰命名法（小驼峰：firstName 大驼峰：FirstName） 注：python中的标识符不区分大小写...
2020-01-20 10:19:10
497
原创 python3分支与循环
分支 Python 条件语句是通过一条或多条语句的执行结果（True 或者 False）来决定执行的代码块 分支语句 单路分支： if a = 1: print(a) 两路分支： if a = 1: print(a) else: print("a!=1") 多路分支 if a = 1: print(a) elif a = 2: print(a) else: print...
2020-01-19 11:00:47
149
原创 python3基本数据类型（四）----字典与集合
字典 字典是另一种可变容器模型，且可存储任意类型对象 字典的每个键值(key=>value)对用冒号(:)分割，每个对之间用逗号(,)分割，整个字典包括在花括号({})中 键必须是唯一的，但值则不必 值可以取任何数据类型，但键必须是不可变的，如字符串，数字或元组 定义字典：字典名 = {} 字典常用操作 操作 描述 dict.clear() 删除字典内所有元素 dic...
2020-01-19 10:21:05
167
原创 python3基本数据类型（三）----列表与元组
列表 Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推
2020-01-19 09:46:43
134
原创 python3基本数据类型（二）----字符串与切片
字符串 在python中可以使用 ’ 、" 、’’'定义一个字符串 字符串就是一串字符，索引计数从0开始，如果内部要用 " ,就用 ’ 定义，反之亦然 遍历字符串(可获取字符串的每一个字符) for i in String: pass 字符串常用操作 判断类型 操作 描述 string.isspace() 如果string中只包含空格，则返回true string.isalph...
2020-01-17 10:17:48
94
原创 python3基本数据类型(一)----数字与字符串
标准数据类型 Python3 中有六个标准的数据类型： Number（数字） String（字符串） List（列表） Tuple（元组） Set（集合） Dictionary（字典） 用户输入：input() 输出的内容默认为字符串 数据类型转换： 数据类型（要转换的数据） 查看数据类型：type(数据) 不可变数据（3 个）：Number（数字）、String（字符串）、Tuple（元组）； ...
2020-01-16 10:02:45
177
原创 python3运算符
python运算符 Python语言支持以下类型的运算符: 算术运算符 比较（关系）运算符 赋值运算符 逻辑运算符 成员运算符 身份运算符 算术运算符 运算符 描述 实例 + 加 10+20=30 - 减 20-10=10 * 乘 10*20=200 / 除 10/20=0.5 // 取整 9//2=4 % 取余 9%2=1 ** 幂 2**3=8 优先...
2020-01-15 11:09:29
99
原创 Python3入门了解
解释器 编译型语言：程序执行前专门的编译过程，执行效率高，依赖编译器，跨平台性差 解释型语言：程序不进行预先编译，将代码一句一句运行，执行时必须先解释在运行 编译型语言执行后人看不懂，计算机东，解释器语言执行后就是源文件，人可读，易懂，解释型语言相比编译型语言效率低，跨平台性更好 python是一种解释型语言 python特点 python是一门完全面向对象的语言 python拥有一个强大的...
2020-01-15 10:30:02
105
原创 Pycharm3安装步骤
下载 去Pycharm官网（http://www.jetbrains.com/pycharm/download/#section=windows），下载PyCharm安装包，根据自己电脑的操作系统进行选择 安装步骤 开始安装 next下一步 切换路径，最好不要放C盘 勾选环境变量和创建快捷方式 点击安装 完成后打开 默认点OK 然后点右下角使用 ...
2019-12-02 14:10:56
378
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人