- 博客(23)
- 收藏
- 关注
RSS订阅原创 cookie与session区别
cookie和session区别cookie数据存放在客户端的浏览器上，session数据放在服务器上。cookie不是很安全，别⼈可以分析存放在本地的cookie并进⾏cookie欺骗session会在⼀定时间内保存在服务器上。当访问增多，会⽐较占⽤你服 务器的性能单个cookie保存的数据不能超过4K，很多浏览器都限制⼀个站点最多保存 20个cookie爬⾍处理cookie和session带上cookie、session的好处：能够请求到登录之后的⻚⾯带上cookie、session的弊端
2020-11-02 17:42:02
241
原创 requests模块认识学习
1. 安装 pip install requests开发工具安装：file—settings—project spider—添加模块2. 常用方法requests.get(网址)3. 响应对象response的方法response.text 返回unicode格式的数据(str)response.content 返回字节流数据(⼆进制)response.content.decode(‘utf-8’) 手动进行解码response.url 返回url response.encode()
2020-11-02 17:35:25
112
原创 urllib模块认识学习
1. urllib.request模块1.1 版本python2 ：urllib2、urllibpython3 ：把urllib和urllib2合并,urllib.request1.2 常用的方法urllib.request.urlopen(“网址”) 作用：向网站发起⼀个请求并获取响应字节流 = response.read()字符串 = response.read().decode(“utf-8”)urllib.request.Request"网址",headers=“字典”) urlo
2020-11-02 17:00:51
94
原创 爬虫request库简单使用
为什么要学习requests，⽽不是urllib1 requests的底层实现就是urllib2 requests在Python2和Python3通⽤，⽅法完全⼀样3 requests简单易⽤4 requests能够⾃动帮助我们解压(gzip压缩的)⽹⻚内容requests的作用作⽤：发送⽹络请求，返回相应数据requests中解决编码的⽅法： r.content.decode('utf-8') b: 字节 r.text str: 字符串response.text 和 respo
2020-08-14 10:23:57
104
原创 常用的请求报头
一个典型的HTTP请求实例组成：1.Host (主机和端⼝号)Host：对应⽹址URL中的Web名称和端⼝号，⽤于指定被请求资源的Internet 主机和端⼝号，通常属于URL的⼀部分。2.Connection (链接类型)Connection：表示客户端与服务连接类型Client 发起⼀个包含 Connection:keep-alive 的请求，HTTP/1.1 使⽤ keep-alive 为默认值。Server收到请求后：1.如果 Server ⽀持 keep-alive，回复⼀个
2020-08-14 09:54:37
487
原创 爬虫之客户端请求与服务端响应
HTTP协议简介协议概念：通信计算机双⽅必须共同遵从的⼀组约定，只有遵守这个约定，计算机之间才能相互通信HTTP协议（HyperText Transfer Protocol，超⽂本传输协议）：是⼀种发布和接收HTML页面的⽅法HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加⼊SSL层SSL（Secure Sockets Layer 安全套接层）主要⽤于Web的安全传输协议，在传输层对⽹络连
2020-08-14 09:37:07
419
原创 爬虫的相关分类
根据使⽤场景，⽹络爬⾍可分为： 通⽤爬⾍ 聚焦爬⾍通用爬虫与聚焦爬虫工作流程：通用爬虫（搜索引擎）流程：通⽤⽹络爬⾍，是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要⽬的是将互联⽹上的⽹⻚，下载到本地，形成⼀个互联⽹内容的镜像备份。通用搜索引擎（Search Engine）工作原理通⽤⽹络爬⾍，从互联⽹中搜集⽹⻚，采集信息，这些⽹⻚信息⽤于为搜索引擎，建立索引而提供⽀持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎
2020-08-14 09:27:23
245
原创 爬虫的学习之路
1. 爬虫介绍爬虫的定义⽹络爬⾍（⼜被称为⽹⻚蜘蛛，⽹络机器⼈）就是模拟客户端发送⽹络请求， 接收请求响应，⼀种按照⼀定的规则，⾃动地抓取互联⽹信息的程序。 只要是浏览器能做的事情，原则上爬⾍都能够获取数据的来源企业⽣产的⽤户数据数据管理咨询公司政府/机构提供的公开的数据第三⽅数据平台购买数据爬⾍爬取数据爬虫怎么抓取网页上的数据？⽹⻚三⼤特征：1 ⽹站都有⾃⼰唯⼀的URL2 ⽹⻚都是HTML来描述⻚⾯信息3 ⽹⻚都使⽤HTTP/HTTPS协议来传输HTML数据爬⾍的设计思路：
2020-08-13 21:25:19
53
原创 python的异常和文件
1. 异常简介程序在运⾏过程中可能会出现⼀些错误。⽐如: 使⽤了不存在的索引，两个不同类型的数据相加…这些错误我们称之为异常处理异常 程序运⾏时出现异常，⽬的并不是让我们的程序直接终⽌！Python 是希望在出现异常时，我们可以编写代码来对异常进⾏处理2. 异常的传播当在函数中出现异常时，如果在函数中对异常进⾏了处理，则异常不会在进 ⾏传播。如果函数中没有对异常进⾏处理，则异常会继续向函数调⽤传播。 如果函数调⽤处处理了异常，则不再传播异常，如果没有处理则继续向调⽤ 处传播。直到传递到全局作⽤
2020-08-12 10:45:21
63
原创 面向对象的模块
模块模块化指将⼀个完整的程序，分解成⼀个个的⼩模块通过将模块组合，来搭建出⼀个完整的程序模块化的优点⽅便开发⽅便维护模块可以复⽤2. 模块的创建在Python当中⼀个py⽂件就是⼀个模块在⼀个模块中引⼊外部模块 import 模块名(模块名就是py⽂件)可以引⼊同⼀个模块多次，但是模块的实例只会创建⼀次import 模块名 as 模块别名在⼀个模块内部都有⼀个__name__。通过它我们可以获取模块的名字如果py⽂件直接运⾏时，那么__name__默认等于字符串__main_
2020-08-11 09:33:13
168
原创 面向对象的之（多态）
（三）多态多态是⾯向对象的三⼤特性之⼀。从字⾯理解就是多种形态⼀个对象可以以不同形态去呈现⾯向对象三⼤特性: 封装 确保对象中数据的安全 基础 保证了对象的扩展性 多态 保证了程序的灵活性 1. 属性和⽅法属性类属性，直接在类中定义的属性是类属性类属性可以通过类或类的实例访问到。但是类属性只能通过类对象来修改，⽆法通过实例对象修改实例属性 通过实例对象添加的属性属于实例属性实例属性只能通过实例对象来访问和修改，类对象⽆法访问修改⽅法在类中定义，以se
2020-08-10 16:21:43
67
原创 面向对象的之（继承）
（二）继承1. 继承的简介继承是⾯向对象三⼤特性之⼀通过继承我们可以使⼀个类获取到其他类中的属性和⽅法在定义类时，可以在类名后⾯的括号中指定当前类的⽗类(超类、基类)继承提⾼了类的复⽤性。让类与类之间产⽣了关系。有了这个关系，才有了多态的特性2. 方法的重写如果在⼦类中有和⽗类同名的⽅法，则通过⼦类实例去调⽤⽅法时，会调⽤⼦类的⽅法⽽不是⽗类的⽅法，这个特点我们称之为⽅法的重写(覆盖)当我们调⽤⼀个对象的⽅法时：会优先去当前对象中寻找是否具有该⽅法，如果有则直接调⽤如果没有，则去当
2020-08-10 14:25:24
119
原创 面向对象的之（封装）
面向对象的三大属性：（一） 封装出现封装的原因：我们需要⼀种⽅式来增强数据的安全性属性不能随意修改属性不能改为任意的值封装是⾯向对象的三⼤特性之⼀封装是指隐藏对象中⼀些不希望被外部所访问到的属性或⽅法我们也可以提供给⼀个getter()和setter()⽅法 使外部可以访问到属性，并修改getter() 获取对象中指定的属性setter() ⽤来设置对象指定的属性使⽤封装，确实增加了类的定义的复杂程度，但是它也确保了数据的安全隐藏属性名，使调用者⽆法随意的修改对象中的属性
2020-08-09 14:20:30
82
原创 面向对象的学习认识
⾯向对象简介Python是⼀⻔⾯向对象的编程语⾔ 所谓⾯向对象的语⾔，简单理解就是语⾔中的所有操作都是通过对象来进⾏ 的⾯向过程 ⾯向过程指将我们的程序分解为⼀个⼀个步骤，通过对每个步骤的抽象来 完成程序 这种编写⽅式往往只适⽤于⼀个功能，如果要实现别的功能，往往复⽤性 ⽐较低 这种编程⽅式符号⼈类的思维，编写起来⽐较容易 1.妈妈穿⾐服穿鞋出⻔ 2.妈妈骑上电动⻋ 3.妈妈到超市⻔⼝放好电动⻋ 4.妈妈买⻄⽠ 5.妈妈结账 6.妈妈骑电动⻋回家 7.到家孩⼦吃⻄⽠ ⾯向对象的编程语⾔，关注的是对象，..
2020-08-05 21:31:05
126
原创 函数系列2
1. 参数的解包传递实参时，也可以在序列类型的参数前添加*号，这样它会⾃动的将序列中元素依次作为参数传递要求序列中的元素的个数必须和形参的个数⼀致2. 函数的返回值返回值就是函数执⾏以后返回的结果通过return来指定函数的返回值return后⾯可以跟任意对象，返回值甚至可以是⼀个函数3. 文档字符串help()是Python中内置函数，通过help()函数可以查询Python中函数的⽤法在定义函数时，可以在函数内部编写⽂档字符串，⽂档字符串就是对函数的说明4. 函数的作用域
2020-07-31 08:45:22
169
原创 函数系列1
函数简介 函数也是⼀个对象 函数⽤来保存⼀些可执⾏的代码，并且可以在需要时，对这些语句进⾏多次 调⽤ 1 语法 2 def 函数名([形参1,形参2,形参3…]): 3 代码块 注意： 函数名必须符合标识符的规范(可以包含字⺟、数字、下划线但是不能以数字开 头) print是函数对象 print()是调⽤函数 2. 函数的参数 2.1 形参和实参 形参(形式参数) 定义形参就相当于在函数内部声明了变量，但是并不是赋值 实参(实际参数)指定了形参，那么在调⽤函数时必须传递实参，实参将会赋值 给对应的形参，..
2020-07-28 07:29:52
222
原创 元组/字典/集合（Python系列）
元组元组基本介绍元组表现形式tuple元组是⼀个不可变序列(⼀般当我们希望数据不改变时，我们使⽤元组，其它情况下基本都⽤列表)使⽤()创建元素元组不是空元组⾄少有⼀个 逗号(,) 当元组不是空元组时括号可以省略元组解包指将元组当中的每⼀个元素都赋值给⼀个变量字典4.1字典的基本介绍字典属于⼀种新的数据结构称为映射(mapping)字典的作⽤和列表类似，都是⽤来存储对象的容器列表存储数据的性能好，但是查询数据的性能差，字典正好与之相反在字典中每⼀个元素都有唯⼀的名字，通过这个唯⼀
2020-07-26 15:45:47
93
原创 Python相关的条件控制语句
1. 条件判断语句(if语句)执⾏的流程： if语句在执⾏时，会先对条件表达式进⾏求值判断： 如果为True，则执⾏if后的语句 如果为False，则不执⾏ 语法：if 条件表达式 : 代码块代码块代码块中保存着⼀组代码，同⼀个代码块中的代码，要么都执⾏，要么都不执⾏代码块以缩进开始，直到代码恢复到之前的缩进级别时结束代码块就是⼀种为代码分组的机制2. input() 函数该函数⽤来获取⽤户的输⼊input() 调⽤后，程序会⽴
2020-07-26 15:03:12
55
原创 Python列表的认识
序列（sequence） 1.1 基本概念 序列是Python中最基本的⼀种数据结构。序列⽤于保存⼀组有序的数据，所 有的数据在序列当中都有⼀个唯⼀的位置（索引）并且序列中的数据会按照 添加的顺序来分配索引 数据结构指计算机中数据存储的⽅式 1.2 序列的分类 可变序列（序列中的元素可以改变）：例如 列表（list）字典(dict) 不可变序列（序列中的元素不能改变）：例如 字符串（str）元组（tuple） 2. 列表(list) 列表是Python中的⼀个对象 列表的作⽤ 列表中可以保存多个有序的数据.
2020-07-25 18:51:00
85
原创 Python运算符认识
运算符 1.1 运算符的概念 运算符⽤于执⾏程序代码运算，会针对⼀个以上操作数项⽬来进⾏运算。例 如：2+3，其操作数是2和3，⽽运算符则是“+” 21.2 运算符的分类 算术运算符 赋值运算符 ⽐较运算符（关系运算符） 逻辑运算符 条件运算符（三元运算符） 2. 算术运算符 加法运算符 表现形式 + 减法运算符 表现形式 - 乘法运算符 表现形式 * 除法运算符 表现形式 / // 整除，只会保留计算后的整数位，总会返回⼀个整型 % 取模，求两个数相除的余数 ** 幂运算，求⼀个值的⼏次幂 3. 赋值.
2020-07-18 16:52:47
128
原创 基本的Python数据类型
1. ⼏个概念1.1 表达式表达式，是由数字、算符、数字分组符号（括号）、⾃由变量和约束变量等 以能求得数值的有意义排列⽅法所得的组合表达式特点：表达式⼀般仅仅⽤于计算⼀些结果，不会对程序产⽣实质性的影响如果在交互模式中输⼊⼀个表达式，解释器会⾃动将表达式的结果输出1.2 语句⼀个语法上⾃成体系的单位，它由⼀个词或句法上有关连的⼀组词构成语句的执⾏⼀般会对程序产⽣⼀定的影响,在交互模式中不⼀定会输出语句的 执⾏结果1.3 程序（program）程序就是由⼀条⼀条的语句和⼀条⼀条的
2020-07-10 21:07:58
58
原创 Python认识学习之路
1. 环境变量1.1 基本概念环境变量（environment variables）⼀般是指在操作系统中⽤来指定操作系 统运⾏环境的⼀些参数，如：临时文件夹位置和系统文件夹位置等环境变量操作1. 查看环境变量右键计算机(此电脑),选择属性系统界⾯左侧选择 ⾼级系统设置选择环境变量2. 添加环境变量通过新建按钮添加环境变量环境变量可以有多个值 , 值与值之间⽤ 英⽂逗号隔开3.修改环境变量通过编辑按钮来修改环境变量4. 删除环境变量通过删除按钮来删除环境变量1.2 path环
2020-07-05 18:45:45
199
原创 计算机的基本认识
1.计算机的基本概念1.1 计算机是什么？计算机（computer）俗称电脑，是现代一种用于高速计算的电子计算机。· 特点：数值计算 逻辑计算，储存记忆的功能。·总结：能够按照程序运行 自动 高速处理数据的现代化智能设备。1.2 计算机的组成硬件+软件软件：就是一系列按照顺序组织的计算机数据和特定指令的集合。2.计算机的语言2.1 计算机语言的基本概念计算机语言（computer language）指用于人与计算机之间通讯的语言。·总结：能够按照程序运行
2020-07-01 07:54:08
4465
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人