- 博客(41)
- 收藏
- 关注
RSS订阅原创 Python爬虫：反爬措施及应对措施-selenium+phantomjs
反爬策略1. 判断user-agent客户端标识来判断是否为爬虫解决办法：封装 user-agent 到请求头2. 通过访问频率来判断解决办法：设置等待时长，爬取时间间隔，可以使用强制等待。在用户高峰期爬取，冲散日志3. 封 IP解决办法：使用代理池4. 页面的内容无法直接获取，都是js 代码解决办法：selenium + phantomjs 的组...
2019-12-23 21:25:19
1706
2
原创 Python爬虫：xml-xpath-lxml模块
一、什么是xml？定义：可扩展性标记语言特点：xml是具有自描述结构的半结构化数据作用：xml 主要设计宗旨是用来传输数据的，他还可以作为配置文件。二、xml和html的区别1. 语法要求不同html 不区分大小写，xml 区分，xml的语法要求更严格html有时可以省去尾标签，xml 不能省略任何标签，严格按照嵌套首位结构只有xml中有自闭标签（没有内容的标签，只有属性...
2019-12-23 20:14:46
223
原创 Python爬虫：正则表达式
数据的分类1. 结构化数据特点：数据以行为单位，每一个数据表示一个实体，每一行数据的属性都是一样的举例：关系型数据库中的表就是结构化数据处理方法：sql2. 半结构化数据特点：结构化数据的另一种形式，并不符合关系型数据的特点，不能用关系型模型来描述，但是这种数据包含相关标记，有用来分割语义元素以及字段进行分层的描述。因此也被称为自描述结构。举例：xml，html，json处理...
2019-12-19 22:56:56
178
原创 Python爬虫：requests模块-案例练习
使用步骤导包import requests确定基础URLbase_url = 'https://www.baidu.com'发送请求，获取响应response = requests.get(base_url)**处理响应内容get请求参数，方法参数 requests.get( url = 请求url headers = 请求头字典 para...
2019-12-18 22:05:34
1207
原创 Python爬虫：认识爬虫
一、爬虫的定义定义：程序或者脚本，自动爬取万维网的数据的程序或者脚本二、爬虫可以解决的问题解决冷启动的问题搜索引擎的根基，（通用爬虫）帮助机器学习建立知识图谱制作各种比价软件三、爬虫工程师初级爬虫工程师web前端的知识：HTML、CSS、JavaSc1ipt、 DOM、 DHTML 、Ajax、jQuery、json 等；正则表达式， 能提取正常一般网页中想要的信息，比...
2019-12-17 20:36:51
268
原创 Django知识点：类视图-restful-动静分离
类视图视图：是一个接收请求，处理请求，返回响应的一个可被调用的对象，视图有函数视图，也要类视图函数视图：以函数的形式定义视图，代码的可读性比较差，代码复用性差，如果需要处理多种请求(get，post，put等)的时候，需要加多个if 或者写多个视图。类视图：以类定义的视图，请求方式：get，post，delete，put，类视图分别定义方法处理不同的请求。类视图的定义from djang...
2019-12-11 14:51:21
231
原创 Django知识点：Ajax-Vue
ajax 的使用Ajax简介：异步的 js 和 xml 普通请求：携带整个页面进行提交，提交成功或者失败之后要重新加载页面。如果页面中有大量的静态资源，体验不好，耗时。同时可能阻塞整个服务，用户体验差，请求的内容和响应的内容冗余。 ajax 使用js 的语法编写，但是原生 js 的 ajax 很复杂，因为各种浏览器对 ajax 对象的兼容不同，如果想使用 js 的 ajax，首先需要兼容各种...
2019-12-10 21:30:36
233
原创 Django知识点：会话机制-cookie和session
背景介绍http请求是一个无状态的，无法记录用户身份的。我们需要一个记录用户身份的机制，最早出现的就是cookiecookie什么是cookiecookie是由服务器下发到用户，保存在用户的浏览器上面的，用来标识或者记录用户身份的机制。也是django的一种会话机制优点会话机制，从根本上解决了用户持续访问的问题缺点cookie 保存在浏览器上面，不安全，cookie 容易被修...
2019-12-09 20:51:45
163
原创 Django知识点：请求-form表单类
认识Http请求django中的request，request是视图中的参数，是一个包含请求信息的请求对象。请求分为四部分请求地址：url请求方式：get，post，put，delete请求头：包含客户端的环境信息，比如身份信息请求体：请求正文，包含请求提交的字段值响应分为三部分：响应状态码：200，404响应头响应体请求方式get- 请求服务器的资源，获取服务...
2019-12-09 19:14:26
271
原创 Django知识点：ORM操作
单表操作已有数据模型class User(models.Model): # id = models.AutoField(primary_key=True) # 主键 name = models.CharField(max_length=32, verbose_name="姓名") # 名字，字符串 age = models.IntegerField(verbose...
2019-12-02 21:39:15
334
原创 Django知识点：模型-ORM配置-站点管理
模型MVT中的Modeldjango 鼓励开发人员使用模块开发，这种开发模式在工作中被称为：解耦合。指在开发过程中将项目看成几个独立的模块进行开发，降低模块之间的耦合性，关联性。ORM的使用1. ORM框架：对象关系映射作用：是一个用来操作数据的框架开发人员只需要关注业务逻辑的开发，不需要关心sql语句的编写，降低代码之间的耦合性提高开发效率，方便后期管理和维护2. 配置dj...
2019-12-02 21:08:09
135
原创 Django知识点：子应用
背景介绍在django 开发中，一个项目中有很多的模块，为了更好的管理，我们使用app 进行数据库的开发。子应用可以将各自的模块区分开，将各自模块的视图，路由，静态文件，模板独立管理子应用1. 创建子应用在工程目录下进入DOC 窗口创建子应用：需要先激活虚拟环境：activate DjangoPath创建子应用：python manage.py startapp appname...
2019-12-02 20:12:19
243
原创 Django知识点：模板和静态资源文件
模板1. 模板介绍web开发：给用户提供一个可视化页面，包含两部分，django 模板系统能够完成这两部分的内容静态页面：css，html，js，img动态数据：需要使用模板语法将数据渲染2. 模板标签系统在web开过过程中，我们要实现用户需求，给用户提供一个完成的页面，这个完整的页面包括 静态页面 + 渲染的数据。Django的模板系统封装了完成这个两个功能的模块在项目的工程...
2019-11-28 20:17:19
295
原创 Django知识点：认识Django
web开发1.web全球广域网，万维网，给用户提供可视化页面web前端开发：是对页面的开发，为了给用户提供更好的页面web后端开发：给页面提供数据支持，处理用户的请求，处理用户的业务逻辑request：用户发起的请求response：响应，服务器处理，构造的响应url：资源在服务器上的位置视图views：处理请求的地方，可以是函数，也可以是类方法2.域名规则https:...
2019-11-28 15:52:43
232
1
原创 博客项目--博客模型
一、创建子应用创建子应用python manage.py startapp Article注册子应用在settings.py 的文件中的 INSTALLED_APPS 下注册子应用配置数据库这里使用的是mysql 数据库，在settings 文件里配置数据库DATABASES = { 'default': { 'ENGINE': 'djan...
2019-11-12 21:46:51
292
原创 ORM--一对多-多对多操作-聚合函数
已有模型一对多添加数据Publish.objects.create(name='北京出版社',address='北京')Publish.objects.create(name='河南出版社',address='河南')Publish.objects.create(name='山东出版社',address='山东')# 第一种Book.objects.create(name='py...
2019-11-11 22:13:52
248
原创 ORM操作-单表操作
已有数据模型class User(models.Model): # id = models.AutoField(primary_key=True) # 主键 name = models.CharField(max_length=32, verbose_name="姓名") # 名字，字符串 age = models.IntegerField(verbose_name...
2019-11-11 21:35:46
216
原创 Django 模型（models）
介绍MVT中的modelDjango 鼓励开发人员进行相对独立的模块开发，这种开发模式在工作中被称为：解耦合。就是指在开发中讲项目看成几个独立的模块进行开发，降低模块之间的耦合性，关联性。django中数据开始使用 MVT ，同时遵循MVC 的设计模式。ORM框架对象关系映射 object relation mapping作用：- 可以操作类方法及属性，去操作数据库，快速开发...
2019-11-06 19:42:53
187
原创 Django子应用-子路由-视图的单独管理
背景介绍在Django 开发过程中，要求我们使用app进行数据库的开发在Django 项目中：电商项目有很多模块，比如用户管理、订单管理、商品管理、物流管理、日志管理等，放到一个views和urls中，不方便管理。Django 提供 app子应用，将各自模块的视图，路由，静态文件，模板独立管理。子应用 app创建子应用方法一：使用pycharm 创建工程的时候，创建子应用。如下图...
2019-11-05 19:51:55
317
原创 博客项目--模板继承
在实际开发过程中，使用前端写好的页面，有很多重复的代码，为了简单操作和便于管理，复用代码，因此可以使用模板继承首先应该创建父类模板父类模板中放入公共部分子类模板继承父类模板子类模板中使用父类的公共部分，以及各自子类模板独有的部分创建父类模板 base.html调用 base.html 文件将 index.html 代码放入base.html 中，只保留公共部分的代码删除非公...
2019-11-04 22:46:16
124
原创 静态文件
web开发中，有一个类型的文件叫 静态文件：css，js，img。静态文件往往不会被直接饮用，通过加载页面的时候加载，这部分内容往往是固定的，大部分服务器会将静态文件做单独处理使用静态文件在项目的工程目录下创建一个static 目录，方静态文件在static 目录下创建images ，js，css目录用来存放相应的静态文件在settings 中配置静态文件的路由前端使用静态文件第...
2019-11-04 22:21:50
760
原创 Django变量的使用-控制语句-过滤器
变量的使用django 中使用变量的语法是：{{ name }}views 视图中定义数据def tmptest(request): return render(request,"tmptest.html",{"name":"laowang","age":19}) params = dict(name="lisi",age=19) return rend...
2019-11-04 22:06:06
217
原创 mysql数据库--用户的创建、权限管理
创建用户格式：create user 用户名@‘来源地’ identified by ‘密码’来源地：就是 ip 地址创建一个aaa用户只能在本地登录 create user aaa@localhost identified by '密码';创建一个用户bbb只能在 ip 地址为10.10.10.10 ip 登录 create user bbb@'10.10.10.10' identi...
2019-10-29 20:36:31
182
原创 mysql数据库--修改密码，忘记密码
设置密码进入数据库，切换到 mysql 库去更新 user 表中的数据执行 select * from user\G;修改密码：update user set authentication_string=password('123456') where User='root' and Host='localhost';退出数据库： exit或者\q重启 mysql 服务： 停...
2019-10-29 20:13:44
74
原创 主键和外键
主键 primary key全名：主键约束特点：具有唯一性，不能为空目的：表示当前表中的唯一一条数据主键值的类型：可以是数值类型，一般配合自增和无符号，也可以是字符串、UUID主键添加1.在建表的时候添加create table info(id int unsigned auto_increment primary keyname char(32))charset=ut...
2019-10-28 22:28:30
184
原创 mysql数据库--基本查询语句
算术运算符+ - * / %比较运算符= > < >= <= <> !=数据库特有的比较in,not in,is null, is not null, like, between and逻辑运算符and or notlike支持特殊符号 % 和 _ ， 其中 % 表示任意数量的任意字符，_ 表示任意一...
2019-10-28 21:51:29
220
原创 数据库数据类型和常见的字段约束
数值有正数也有负数，正数被称为无符号，unsigned（无符号）TINYINT1字节int4字节float4字节，float（4.2）一共四位数字，小数点占两位decimal使用字符串，表示浮点数字符串varchar(4)可变长度字符串，最多存4个字符，如果不够四个字符，实际占用空间大小以实际存储的大小为准1234 12c...
2019-10-28 19:50:51
577
原创 数据库的表操作
表在数据库中存储，所以表的操作必须先切换到库切换到 ian 库：USE ian查看当前库中所有的表show tables;创建表create table 表名(字段名1 字段类型和约束，字段名2 类型和约束)charset=utf8;查看建表语句show create table stu;查看表结构（查看的是字段信息）desc 表名删除表...
2019-10-26 17:43:38
99
原创 MySQL数据库-简单概念和数据库操作
数据库什么是数据库：存储数据的仓库，按照一定的数据结构来组织，管理存储数据，还提供了增删改查的功能。事务什么是事务：将一组有序的增删改操作，当做一个独立的执行单元，如果操作都成功，那么事务就执行成功，如果有一个操作执行失败，真个事务都失败，事务将会执行回滚，恢复到事务开始之前的状态。事物的四大特性原子性：将事务看做最小的执行单元，不可分割，要么都成功，要么都失败。一致性：事务在执行...
2019-10-26 15:58:24
81
原创 mysql的安装-卸载过程
1.把mysql-5.7.25-winx64.zip解压放在指定盘符目录下（最好放在盘符下的一级目录，比如 D:/）2.打开解压拿到的文件，打开到bin目录下，复制路径并添加到系统PATH环境变量中（D:\mysql-5.7.25-winx64\bin）配置环境变量：...
2019-10-23 20:37:46
86
原创 事件
鼠标事件–onclick格式：box.事件关键词=function() {事件发生之后要执行的代码}鼠标点击事件var box = document.getElementById('box');var flag = 0;box.onclick = function () { if (flag==0) { box.style.backgroundColor...
2019-10-17 21:19:44
87
原创 js中的元素
元素的获取方式根据 id 获取 getElementById<div class="box" id="box">1111</div><div class="box02" name="box02">2222</div>var box = document.getElementById('box')根据class属性获取元素 ge...
2019-10-17 20:02:48
166
原创 js中对象
Object的定义和操作使用系统内置的 new Object() 新建空对象var obj1 = new Object();// 对象的操作// 添加成员属性和成员方法obj1.name='欢欢';obj1.say=function(){ console.log('我太难了~');}// 修改name属性的值obj1.name='刘欢';// 删除delete obj...
2019-10-16 21:57:24
86
原创 js的函数
定义函数命名函数ps：函数的调用可以写在函数定义之后，也可以写在函数定义之前function func1() { console.log('命名函数'); return 100}var result = func1();console.log(result);匿名函数ps：匿名函数的调用只能函数声明后调用var func2 = function () {...
2019-10-16 21:28:46
58
原创 js 流程控制-循环控制
流程控制单分支： ifvar num = 90;if (num >= 90) { console.log('成绩优秀==========')};双分支： if elseif (num >= 90){ console.log('成绩优秀=========')}else { console.log('还要加强备课===')};多分支：...
2019-10-15 21:35:00
72
原创 js中的运算符-
js中的运算符算数运算符号： + - * / % ++ –var a = 1;a++; // 自增1++a;a--; // a = a -1 a -= 1--a;console.log(a);字符串运算符： + 相当于拼接var str1 = 'aaa', num1 = 1, num2 = 2;console.log(str1 + num1 + ...
2019-10-15 21:09:53
99
原创 js引入方式-变量-数据类型
js的三种引入方式1. 行间引入<body><!--1.行间引入--><input type="button" value="点一下试试" onclick="alert('来快活一下')"><br><!--较少使用，鼠标移入会显示js代码--><a href="JavaScript:alert('好的我来了')">...
2019-10-14 22:22:08
240
原创 小米首页布局案例
小米首页布局案例<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>小米布局案例</title> // 通过link标签引入外链css文件中的样式 <link rel="stylesheet" href="...
2019-10-14 21:47:10
1932
原创 CSS样式
引入方式行间添加属性，设置style样式嵌入式引入样式，写在html文档中，head里的style标签内通过link标签，引入外部 .css 文件的样式优先级：嵌入式和link标签优先于行间添加属性。两者之间距离标签越近，优先级越高。<!DOCTYPE html><html lang="en"><head> <meta chars...
2019-10-12 18:18:54
133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人