- 博客(24)
- 收藏
- 关注
RSS订阅原创 装饰器实例
装饰器(decorator)装饰器是指在不干扰函数原本功能的基础上,额外为函数添加一个功能.# 首先是最普通的装饰器import timedef show_time(func):# 第一个参数永远是你的函数 #可以写多层 def wrapper(*args,**kwargs): # 写一个统计函数运行时间的功能! s_time = time.time() myfunc = func(*args,**kwargs)
2020-07-26 22:21:43
253
原创 django出现auth.User.Groups这样类型的错误该如何解决
django出现auth.User.Groups这样类型的错误该如何解决ERRORS:auth.User.groups: (fields.E304) Reverse accessor for 'User.groups' clashes with reverse accessor for 'profile.groups'. HINT: Add or change a related_name argument to the definition for 'User.groups' or 'profile
2020-07-22 14:56:04
516
转载 Vue在django无法使用vue语法
Vue在django无法使用vue语法这个算是一个常见的问题`在这里插入代码片`方案1:修改vue.js的默认的绑定符号 <div id="app"> [[ message ]] </div> <!--全称是 Vue.config.delimiters=["[[","]]"];--> <script> new Vue({ delimiters:["[[", "]]"], el:"#app",
2020-07-22 00:13:40
427
原创 Python 的 类方法 classmethod 秒懂
类方法： Paginator.page(number)：根据参数number返回一个Page对象。（number为1的倍数） 这个是django.core.paginator 的 Paginator对象 Python3 中类的"类方法" "类方法": 默认有个 cls 参数，可以被类和对象调用，需要加上 @classmethod 装饰器 类方法:只能被类和对象调用,如果说你像上面的Paginator类一样,在...
2020-07-20 03:03:52
255
原创 namedtuple如何处理多个tuple/dict的数据?
一个很省内存的工具,其基础类型是tuplenamedtuple: 线程安全,可哈希,元组不可修改哦~(非绝对) example: Userprofile = ("Userprofile","name,email,user_id") # 1 Userprofile = ("Userprofile","name email user_id") # 1 Userprofile = ("Userprofile",["name","email...
2020-07-02 00:20:58
257
原创 盘点Python几种pip install 资源的方式
1. 直接 pip install 资源名称 example: pip install requests 特点: 简单粗暴2. Python安装后自带的easy_install example: easy_install requests 特点: 不用加3.在Pycharm里面使用project Interpreter 下的 + 里面Avail...
2020-03-25 17:38:18
701
原创 Django真正需要加缓存的地方是...
Django真正需要加缓存的地方是 1.加载大量数据的时候,比如需要加载所有明星,或者所有信息的数据时,就可以加缓存! 2.获取个人记录的时候,比如你访问了什么东西,比如说,商品的订单记录,销售记录等等 3.获取评论,获取很多评论的时候等等 总而言之,缓存的真正意义就是让你的后台系统"放松",因为计算机的计算非常宝贵,如果说,一个数据计算非常密集,那么还是交...
2020-01-04 23:10:11
144
原创 写一下关于对svg的解密
其实很多的网站也陆陆续续开始使用非人道反爬来限制爬虫了,常见的css反爬,字体反爬(就是页面源码显示什么乱七八糟的文字,但是在用户面前还是显示正常的,比如1 在源码显示可能是或者其他类似这样的字符),还有svg(数字变成svg的小图片,比较出名的有大众点评),js混淆加密,base64编码,sha1加密等等,恶心的要死(加密的代码还放的贼隐蔽,我吐了).今天我所带来的就...
2019-12-30 03:24:07
871
原创 记录下django开发的一些问题
1.错误原因： django.core.exceptions.ImproperlyConfigured: AUTH_USER_MODEL refers to model 'users.UsersProfile' that has not been installedPS:AUTH_USER_MODEL = "users.UsersProfile" # 是为了 让django用户认证...
2019-09-25 17:18:03
495
原创 asyncio+aiohttp实现的爬虫如何查看返回的数据
是这样的,有时候,大多时候,写爬虫程序的时候需要返回值的.大家知道,协程的高并发性能是能够提高爬虫的效率的,好让程序有其他的时间去执行其他的代码.但是我最近在猜测,如何查看爬虫的返回值呢？详细代码就不写了,后面上贴图吧...loop = asyncio.get_event_loop()task = asyncio.ensure_future(self.Request())res...
2019-07-06 23:07:35
1559
1
原创 说一下自己理解的__new__()
__new__() 在__init__()之前使用,__new__()决定__init__()如何去进行类属性的定义以及对于类属性的一些变动!举个很简单的例子,就比如你能自定义自己生的孩子的属性!你自己能自定义的这个操作就是__new__()定义出来的孩子的样子属性就是__init__()(ps:我理解了好久呢,终于在今天理解成功了，知道了什么意思)class Test(ob...
2019-05-25 13:40:27
212
原创 讲一下我自己理解的“赋值“,“浅拷贝”,“深拷贝”
今天来讲一下我自己理解的“赋值“,“浅拷贝”,“深拷贝” 1.赋值"""= 赋值 赋值只是将a的引用赋值给了b"""#a = [1,2,3,[4,5]]# b = a# b.append(6)# print(a)#执行结果: [1, 2, 3, [4, 5],6] a如上面所有,a只是将b的引用给了b,而b在尾部添加了一个元素6则会影响到a。这也是 网...
2019-05-25 13:36:11
236
原创 当你开启mitmproxy,想要获取证书时出现"If you can see this, traffic is not passing through mitmproxy"的解决方案
1.首先下载一个这个玩意,来对google浏览器进行相应的配置! 我推荐用google!首先看下配置方式:配置完毕点击应用选项2.启动的你mitmproxy 如果是windows 则启动 mitmweb 即可!这一点是作者说的!提问原文链接：https://discourse.mitmproxy.org/t/mitmproxy-for-windows-d...
2019-05-14 16:22:59
14666
3
原创 对于爬虫遇到的JS渲染的问题的一些解决方法
对于爬虫遇到的一些关于JS渲染的解决方法:1.动用动态技术 Selenium+PhantomJS或者其他的一些动态框架2.Splash: 我没用过,所以不好评价3.自己动用Google Chrome找寻请求,然后找出参数进行模拟. 比较好练手的就是http://www.dm5.com 推荐去看下这个.... 动用动态技术的...
2018-12-05 02:19:14
1941
原创 我弄了一个下午的装饰器....
用装饰器去设置mysql的连接.import pymysqlfrom pymysql.err import OperationalErrordef cha(db):#这个db就是连接mysql的那个db def decorator(func): #func是你自己的函数,本文就是sqlte def wrapper(client,field): #你自己设置的参数...
2018-10-17 19:33:40
150
原创 Content-Type: application/json的坑
Content-Type:application/json; charset=utf-8首先就是json,你提交一个表单,肯定会遇到类似于json的,也就是 Content-Type:application/json; charset=utf-8 字样的类型.遇到这种类型,你直接构建请求的data是不行的.我遇过两次坑.一次是 获取携程飞机票数据的时候,一次是获取最右的数据的时候....
2018-09-18 10:00:52
41729
原创 Python多线程抓取全书网全站
#!/usr/bin/env python# -*- coding:utf-8 -*-#@author:Chris iven#Python version 3.6from lxml import etreeimport requests,random,refrom requests.exceptions import RequestException,ConnectionError,R...
2018-07-17 22:52:43
397
原创 Python3爬虫---抓取英雄联盟的所有英雄皮肤
#!/usr/bin/env python# -*- coding:utf-8 -*-#@author:Chris iven#Python version 3.6#1.分析LOL官网行为!#发现这个网页的所有数据都是经过js生成的!意思就是说 他的数据全部不在该网页里面,而是在一个JS文件里面!#所以我们只需要获取JS数据."""抓取步骤及思路:1.获取英雄的js数据,访问并且下...
2018-06-16 00:16:35
3503
15
原创 python3爬虫---抓取王者荣耀所有英雄皮肤原图
小项目:python3爬虫抓取王者荣耀所有英雄皮肤原图Python环境:python3.6.4author : Chris iven效果图:代码:class WZRY_Hero(object): Origin_url = "http://pvp.qq.com/web201605/" def __init__(self,url): self.url = u...
2018-06-14 16:42:00
2459
2
原创 PyCharm关于修改代码的风格及样式
Settings-->Editor-->Color Scheme-->Language Defaults即可!!
2018-04-18 00:34:13
10061
2
原创 Python3 requests模拟登录天善智能!
#!/usr/bin/env python#coding=utf-8#@author:Chris iven#Python version 3.6"""分析网站行为:login_url = "https://passport.hellobi.com/sso/login"data: _token _token是在login_url里面的一个 登录必须带的参数,...
2018-04-14 13:48:22
211
原创 简单梳理下防盗链的思想
防盗链的思想就是:你若是从我服务器上的地址过来的,我就返回给你真实有用的数据，如果不是,那么不好意思!何以为证?import reqeustsheaders = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/5...
2018-04-10 15:41:18
119
原创 Python3模拟登录豆瓣(以豆瓣为例)
首先,先哭一会儿.因为,这个模拟登录我弄了很久,我是属于没经验的那种.所以要弄很久.登录的目标站点是:www.douban.com豆瓣网站!先上思路吧!"""技术要求:Python第三方库:requestsjson"""思路:#这是最基本的防止反爬虫的策略了!就是设置User-Agent和Referer!headers = {"User-Agent":"Mozilla/5.0 (Windows N...
2018-04-07 13:51:02
1008
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人