- 博客(16)
- 收藏
- 关注
RSS订阅转载 常见的爬虫题
scrapy框架的工作流程？a、spider解析下载器下下来的response，返回item或是links b、item或者link经过spidermiddleware的process_spider_out( )方法，交给engine c、engine将item交给item pipeline ，将links交给调度器 d、在调度器中，先将requests对象利用scrapy内置的指纹...
2019-04-10 17:50:46
672
转载 面向对象编程思想（OOP）
面向对象编程思想（OOP）本文我将从面向对象编程思想是如何解决软件开发中各种疑难问题的角度，来讲述我们面向对象编程思想的理解，梳理面向对象四大基本特性、七大设计原则和23种设计模式之间的关系。软件开发中疑难问题：软件复杂庞大很多软件进入维护阶段需求的不断变更软件开发中存在很多其他的问题，上面只是从程序开发和设计的角度看到的部分问题。需求解决上面软件开发中的问题，就要求我们编写（设计...
2019-03-31 15:06:16
323
转载 ORM正向和反向查询
ORM正向和反向查询表结构from django.db import models# Create your models here.class Publisher(models.Model): id = models.AutoField(primary_key=True) name = models.CharField(max_length=32)class Bo...
2019-03-27 09:30:02
938
转载 http简介
HTTP简介HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它...
2019-03-25 19:17:14
330
转载 用Selenium破解滑块验证码
爬虫碰到的最多验证码就是滑块验证码！用Selenium暴力破解！一. 验证码简介验证码，即CAPTCHA，全自动区分计算机和人类的公开图灵测试，换而言之，验证码是一种用于区分人类与计算机的测试，只有通过了CAPTCHA，当前用户才被认为是人类。私信小编007即可获取数十套PDF哦！首先，我手动完成了一次滑块验证码的验证，想看看需要向服务器端发送什么请求才算是通过了验证，随便点开了一个，...
2019-03-22 18:04:58
2013
转载 scrapy爬虫部署
scrapy爬虫部署爬虫如何部署到服务器上呢，接下来就开始研究scrapyd。网上搜了很多资料，都在介绍scrapy deploy命令，但是我在机器上安装上scrapyd之后，怎么运行都是提示没有deploy这个命令，真是奇怪，为什么别人都可以呢。经过几番波折，终于在最新的官方文档里面找到了答案。附上地址和截图：http://doc.scrapy.org/en/latest/topics/co...
2019-03-11 15:57:11
325
转载 你真的了解python么
听说你会Python？来做几道题测试一下？听说都作对了能月薪过万前面是题目，后面有答案，看看自己的水平，你会做几个题？Python学习交流群：5483778751.列表生成器描述下面的代码会报错，为什么？2.装饰器描述我想写一个类装饰器用来度量函数/方法运行时间这个装饰器能够运行在普通函数上：但是运行在方法上会报错，为什么？如果我坚持使用类装饰器，应该如何修改？3....
2019-03-11 13:48:32
193
转载 常见的关系型数据库和非关系型数据及其区别
常见的关系型数据库和非关系型数据及其区别一、关系型数据库关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组织优点：1、易于维护：都是使用表结构，格式一致；2、使用方便：SQL语言通用，可用于复杂查询；3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询。缺点：1、读写性能比较差，尤其是海量数据的高效率读写；2、固定的表结构，灵活度稍欠；3...
2019-02-25 18:52:20
353
转载 数据清洗的基本概念
说道数据清洗，相信许多后端开发人员都不陌生，对于一个数据分析师来说，这是一项必不可少的技能。1基本概念数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲...
2019-02-25 09:18:08
2952
原创 一分钟了解redis数据库
一分钟了解redis数据库Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的APIRedis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，J...
2019-02-21 18:23:14
408
转载 前端和后端是如何实现交互的
前端和后端是如何交互的2019年02月19日 09:43:211、前端请求数据URL由谁来写在开发中，URL主要是由后台来写好给前端。若后台在查询数据，需要借助查询条件才能查询到前端需要的数据时，这时后台会要求前端提供相关的查询参数（即URL请求的参数）。2、接口文档主要由谁来写接口文档主要由后台设计和修改。后台直接跟数据打交道，最清楚数据库里有什么数据，能返回什么数据。前端...
2019-02-19 09:48:26
3156
原创 抓取猫眼电影实时数据
抓取猫眼电影实时数据我又回来了，guys！最近也是看到流浪地球，飞驰人生，疯狂的外星人的票房大卖，于是就想着利用python对猫眼做一下票房的数据统计。下面就开始我的表演：环境： python3.6集成工具：pycharm专业版用到的第三方包：requests,base64,lxml,fontTools,re,csv首先我们可以看到：查看源码时，我们可以看到一些字体加密正是我们...
2019-02-18 19:16:42
2745
原创 sql语句查询实例
sql语句查询实例欢迎回来 Buddy！！！下面咱们再学习一个用sql语句查询的例子一、有3个表 S, C, SCS(SNO, SNAME) 代表(学号, 姓名)C(CNO, CNAME, CTEACHER) 代表(课号, 课名, 教师)SC(SNO, CNO, SCGRADE) 代表(学号, 课号, 成绩)问题:1.找出没选过”黎明”老师的所有学生姓名.2.列出2门以上(含2门...
2019-02-15 18:22:56
1862
2
原创 sql语句查询
sql语句中的一些查询mysql是一个功能强大且方面操作的一个关系型数据库所以我们做后端开发的会经常用到mysql数据库，那么我们也会常用到sql语句了，下面我就给大家做些简单的sql查询，闲来无事随便弄一下=.=;咱们首先可以来从一个例子下手数据库有三个表 teacher表, student表, tea_stu关系表teacher表 有teaID name age ,stude...
2019-02-14 19:15:19
777
2
原创 删除sql语句的代码冗余
删除sql语句的代码冗余首先我们先看一个问题实例一、学生表记录如下(学号 姓名 性别 年龄)0001 xw 男 180002 mc 女 160003 ww 男 210004 xw 男 18请写出实现如下功能的SQL语句删除除了学号(自动编号)字段以外,其他字段都相同的冗(rong)余记录在mysql中我们怎么去实现这个记录呢创建一个名为day02的数据库creat...
2019-02-14 11:27:12
595
1
原创 DRF的领域天地
Django rest framework缘由：现在前后端分离的架构设计越来越流行，业界甚至出现了API优先的趋势。作为一个it程序猿，我们不得不用流行的技术来武装自己，如果我们要做后端接口开发，那么我们就要学会这样一门技术。DRF是基于restful开发的一个强大而灵活的开发框架其优点如下：提供了定义序列化器Serializer的方法，可以快速根据 Django ORM或者其它库自...
2019-01-26 15:46:00
314
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人