- 博客(41)
- 收藏
- 关注
RSS订阅原创 python爬虫表单总结
动态内容，ajax的数据在XHR里面，刷新可以查看新抓的包里面有没有自己想要的数据。IF-TargetVerb: POSTIF-TargetContent: [{"Lbl":"attachmentWrapper","Src":"div.InFlightAttachment:first","Data":"null","HWA":".","Ch
2018-05-28 17:14:56
1240
原创 wordcloud库
安装：http://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud下载python -m pip install wordcloud-1.4.1-cp36-cp36m-win_amd64.whlw = wordcloud.WordCloud(<参数>)参数：width（默认400）、heigth（默认200）、min_font_size（默认...
2018-05-10 21:05:49
921
原创 关于爬虫错误信息
1.raise ValueError('Missing scheme in request url: %s' % self._url)结局问题： 1.下载图片files_url需要list类型 2.http不要忘记加
2018-05-09 15:13:39
345
原创 dateutil库
安装：pip install python-dateutil导入：from dateutil.parser._parser import parse方法：parse(strtime).timestamp()#时间戳，浮点数类型 parse(strtime).date()#字符串类型...
2018-05-07 12:44:34
637
原创 jieba库
精 确 模式：jieba.lcut(s)#不存在冗余全 模 式：jieba.lcut(s,cut_all = True)#存在冗余搜索引擎模式：jieba.lcut_for_search(s)#存在冗余
2018-05-06 22:23:36
502
原创 scrapy连接myqsl
在pipeline中：def __init__(self): self.connect = pymysql.connect( host='localhost', port=3306, db='****', user='root', passwd='****', charset='utf8') ...
2018-05-06 14:02:20
1261
原创 RIDES
github下载地址：https://github.com/MSOpenTech/redis/tags启动命令redis-server redis.windows.conf启动失败：连接失败：1.redis-cli.exe2.shutdown3.exit4.redis-server redis.windows.conf设置服务命令redis-server --service-install red...
2018-05-04 16:01:36
2628
原创 XPATH
今天学习了scrapy中的spiders部分，爬虫名name，start_url起始点，以及xpath的语法：nodename选取此节点的所有子节点。/从根节点选取。//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。.选取当前节点。..选取当前节点的父节点。@选取属性。bookstore选取 bookstore 元素的所有子节点。/bookstore选取根元素 bookstore。注释...
2018-05-03 15:48:18
262
原创 scrapy框架
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。安装scrapy的时候用的是pip安装的，一直报错twisted，于是下载Twisted.whl再pip install Twisted也是失败，必须到文件所在位置，再pip install Twisted-18.4.0-cp36-cp36m-win32.whl才成功Scrapy运行流程大概如下：引擎从调度器中取出一个链接(URL...
2018-05-02 11:35:27
184
原创 HTTP首部字段
通用首部字段Cache-Control 控制缓存的行为Connection 逐跳首部、连接的管理Date 创建报文的日期时间Pragma 报文指令Trailer 报文末端的首部一览Transfer-Encoding 指定报文主体的传输编码方式Upgrade 升级为其他协议Via 代理服务器的相关信息Warning 错误通知请求首部字段Accept 用户代理可处理的媒体类型Accept-Charse...
2018-05-02 08:20:24
219
原创 HTTP状态码
200 ok204 no content206 partial content301 Moved Permanently永久性重定向。该状态码表示请求的资源已被分配了新的 URI，以后应使用资源现在所指的 URI。302 Found临时性重定向。该状态码表示请求的资源已被分配了新的 URI，希望用户（本次）能使用新的 URI 访问。303 See Other该状态码表示由于请求对应的资源存在着另一...
2018-05-02 08:18:42
115
原创 HTTP协议
TCP/IP 协议族按层次分别分为以下 4 层：应用层：FTP（文件传输协议），DNS（域名系统），HTTP（超文本传输协议）传输层：TCP（传输控制协议），UDP（用户数据报协议）网络层：IP（网际协议）网络层用来处理在网络上流动的数据包。数据包是网络传输的最小数据单位。该层规定了通过怎样的路径（所谓的传输路线）到达对方计算机，并把数据包传送给对方数据链路层：用来处理连接网络的硬件部分。包括控制...
2018-04-28 11:16:24
83
原创 爬虫：一个url多页
import urllib.requestimport urllib.parsefrom lxml import etree#链接url = 'http://www'#循环得到分页for i in range(1,26):#查到到页数关键词 query = {'Page':'i'} data = urllib.parse.urlencode(query).encode(encoding...
2018-04-27 20:23:00
2408
原创 爬虫：豆瓣top250
import requestsfrom lxml import etreefor i in range(0,250,25): url = 'https://movie.douban.com/top250?start=%s&filter='%i r = requests.get(url) b = r.text s = etree.HTML(b) file = s...
2018-04-26 22:39:52
498
原创 pyinstaller库
pyinstaller库常用参数：-h 查看帮助--clean 清理打包过程中的临时文件-D，--onedir 默认值，生成dist文件夹-F，--onefile 在dist文件夹中只生成独立的打包文件-i<图标文件名。ico> 指定打...
2018-04-26 00:23:14
265
原创 面对对象:（进阶）
面向对象是一种编程方式，此编程方式的实现是基于对 类 和 对象 的使用类 是一个模板，模板中包装了多个“函数”供使用（可以讲多函数中公用的变量封装到对象中）对象，根据模板创建的实例（即：对象），实例用于调用被包装在类中的函数面向对象三大特性：封装、继承和多态1.字段：普通字段属于对象，静态字段属于类2.方法：普通方法：由对象调用；至少一个self参数；执行普通方法时，自动将调用该方法的对象赋值给s...
2018-04-25 22:39:12
128
原创 django:表单（2）
表单框架最主要的用法是，为每一个将要处理的HTML的`` <Form>`` 定义一个Form类。 print(f)<tr><th><label for="id_subject">Subject:</label></th><td><input type="text"
2018-04-24 10:16:00
102
原创 django:表单（1）
通常，表单开发分为两个部分： 前端HTML页面用户接口和后台view函数对所提交数据的处理过程from django.shortcuts import render_to_responsefrom django.http import HttpResponsefrom books.models import Book# Create your views here. 表单def search...
2018-04-23 23:50:17
97
原创 MVC思想
MVC要实现的目标是将软件用户界面和业务逻辑分离以使代码可扩展性、可复用性、可维护性、灵活性加强。控制器的作用就是这么简单， 用来将不同的View和不同的Model组织在一起，顺便替双方传递消息，仅此而已。组成MVC的三个模式分别是组合模式、策略模式、观察者模式，MVC在软件开发中发挥的威力，最终离不开这三个模式的默契配合。对应到MVC中，Model是被观察的对象，View是观察者，Model层一...
2018-04-23 17:07:23
549
原创 django：admin
激活Django自带的管理界面： python manage.py createsuperuser（必须含有django.contrib.auth）问题：django.urls.exceptions.NoReverseMatch: Reverse for 'logout' with no arguments not found. 1 pattern(s) tried: ['admin/$lo...
2018-04-22 16:34:41
295
原创 django：模型
错误：No module named 'mysite.books'解决：在settings.py中删除mysite，直接'books',错误： __init__() missing 1 required positional argument: 'on_delete'解决：publisher = models.ForeignKey(Publisher,on_delete=models.CASCAD...
2018-04-21 15:33:47
142
原创 类变量、实例变量
class Apple(object): name = 'apple'p1 = Apple()p2 = Apple()p1.name = 'orange'print(p1.name)print(p2.name)'''普通的变量（非类的变量），被赋值后即变量存在。类的变量在class里def外，通过变量名能被赋值，在def里通过类对象可被赋值'''...
2018-04-21 11:49:53
147
原创 迭代器、生成器
'''迭代器'''print('for i in iter([1,2,3,4,5]):')for x in iter([1,2,3,4,5]): print(x)'''生成器'''def myyield(n): while n>0: print("开始生成...:") yield n print("完成一次...:") n ...
2018-04-21 11:48:28
74
原创 装饰器
'''装饰器是一个工厂函数，接受一个函数作为参数，然后返回一个新的函数，其闭包中包含被装饰的函数。有了装饰器，可以提取大量函数中与本身功能无关的类似代码，达到代码重用的目的。可应用与=于插入日志、性能测试、事务处理等方面'''def deco(func): def warpper(*args,**kwargs): print('start') func(*args...
2018-04-21 11:47:33
91
原创 闭包
'''闭包可以实现先将一个参数传给一个函数，而并不立即执行，以达到延迟求职的目的。满足以下三个条件：1.必须有一个内嵌函数2.内嵌函数必须引用外部函数中变量3.外部函数返回值必须是内嵌函数'''def set_passline(passline): def cmp(val): if val >= passline: print('pass') ...
2018-04-21 11:32:24
127
原创 Python DB API
connection:建立数据库连接cursor:执行SQL、获取数据开发数据库程序流程：1.创建connection对象,获取cursor2.使用cursor 执行SQL3.使用cursor获取数据，判断执行状态4.提交事务 或者 回滚事务5.关闭cursor,关闭connection...
2018-04-21 11:25:27
941
原创 django:模板（2）
给标签增加一个 reversed 使得该列表被反向迭代：{% for athlete in athlete_list reversed %}Django不支持退出循环操作。 如果我们想退出循环，可以改变正在迭代的变量，让其仅仅包含需要迭代的项目。 同理，Django也不支持continue语句，我们无法让当前迭代操作跳回到循环头部。 {% ifequal %} 标签比较两个值，当他们相等时，显示在...
2018-04-20 12:14:19
133
原创 django:模板（1）
在Python代码中使用Django模板的最基本方式如下：1. 可以用原始的模板代码字符串创建一个 Template 对象， Django同样支持用指定模板文件路径的方式来创建 Template 对象;2. 调用模板对象的render方法，并且传入一套变量context。它将返回一个基于模板的展现字符串，模板中的变量和标签会被context值替换。3.这就是使用Django模板系统的基本规则： 写...
2018-04-19 12:14:56
115
原创 django：urls中path问题
初始导入的是path模块：urlpatterns = [ path(r'^hello/$',views.hello), path(r'^admin/$', admin.site.urls), path(r'^time/$', current_datetime), path(r'^time/plus/(\d{1,2})/$',hours_ahead),]网站不能正常运行。40...
2018-04-19 01:34:23
15594
5
原创 关于CSS
CSS 规则由两个主要的部分构成：选择器，以及一条或多条声明。selector {declaration1; declaration2; ... declarationN }属性（property）是您希望设置的样式属性（style attribute）。每个属性有一个值。属性和值被冒号分开。selector {property: value}处理空白符：值 normalp {white-spac...
2018-04-19 01:02:59
137
原创 关于HTML
<b> 定义粗体文本。<big> 定义大号字。<em> 定义着重文字。<i> 定义斜体字。<small> 定义小号字。<strong> 定义加重语气。<sub> 定义下标字。<sup> 定义上标字。<ins> 定义插入字。<del>
2018-04-19 01:01:53
189
原创 关于javascript
1.如需从 JavaScript 访问某个 HTML 元素，您可以使用 document.getElementById(id) 方法。2.对象属性有两种寻址方式：name=person.lastname;name=person["lastname"];3.JavaScript 中的所有事物都是对象：字符串、数字、数组、日期，等等。在 JavaScript 中，对象是拥有属性和方法的数据。4.访问对...
2018-04-19 01:01:05
142
原创 关于django创建
打算创建第一个项目，结果提示django-admin.py失败，确定.py已成功配置环境变量，原来django 2.0版本以后不再需要.py后缀，django-admin startproject ......
2018-04-17 22:58:44
121
原创 摘录《简明python教程》
1.物理行是你在编写程序时所 看见 的。逻辑行是Python 看见 的单个语句。2.global语句被用来声明x是全局的。LEGB规定了查找一个名称的顺序为：local–>enclosing–>global–>builtin。3.每个Python模块都有它的__name__，如果它是'__main__'，这说明这个模块被用户单独运行4.Python用反斜杠表示转义符！所以，你得使...
2018-04-17 09:04:24
88
原创 python实现选择排序
def insert_sort(lists): count = len(lists) for i in range(1,count): key = lists[i] j = i-1 while j>=0: if lists[j]>key: lists[j+1] = lists[j]...
2018-04-16 22:39:20
305
原创 python实现插入排序
def insert_sort(lists): count = len(lists) for i in range(1,count): key = lists[i] j = i-1 while j>=0: if lists[j]>key: lists[j+1] = lists[j]...
2018-04-16 22:38:21
267
原创 python实现快速排序
def qsort(seq): if seq == []: return [] else: pivot = seq[0] lesser = qsort([x for x in seq[1:] if x<pivot]) greater = qsort([x for x in seq[1:] if x>=pivot]) ...
2018-04-16 22:37:37
169
原创 python实现冒泡排序
def bubblesort(nums): for i in range(len(nums)-1): for j in range(len(nums)-i-1): if nums[j]>nums[j+1]: nums[j],nums[j+1]=nums[j+1],nums[j] return numsnums=[1...
2018-04-16 22:36:33
231
原创 python七段数码管
#导入turtle库import turtle#定义一个走一格的函数def drawline(draw): turtle.pendown() if draw else turtle.penup() turtle.fd(40) turtle.right(90)def drawdigit(digit): drawline(True) if digit in [2,3,4,5,6...
2018-04-16 22:25:58
2104
原创 mysql
mysql突然出现error 1045 （28000）错误，折腾了两个小时。四处查找，解决方案为：1.找到配置文件my.ini2.在mysqld下面添加skip-grant-tables，保存退出3.重启服务4.运行cmd修改密码5.删出skip-grant-tables6.重启服务留个坑，没用这个解决，我直接重新配置。两分钟，数据库都在。...
2018-04-16 22:09:33
88
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人