- 博客(100)
- 收藏
- 关注
RSS订阅转载 python数据分析回归算法
1，线性回归，多元回归，逻辑回归 回归即用一个函数探究数据之间的关系。线性回归指用线性函数的方式来研究变量之间关系。多元回归是指线性函数中变量有多个。逻辑回归是线性回归的拓展，数据分析中有两类问题：回归和分类。回归的问题采用回归的方法，分类的问题采用分类的方法。逻辑回归是用线性回归的方法来探究分类问题。举一个例子：探究房价跟房屋面积和楼层之间的关系：""" 面积...
2019-09-29 11:39:00
537
转载 python之斐波那契序列算法的总结
斐波那契序列为1,1,2,3,5,8,13.......序列中的下一个数字为之前前两个数字的运算和。方法1：矩阵思想 [0,1] [a] [b] [1,1] * [b] = [a+b] ...
2019-09-28 20:43:00
385
转载 pandas 关于数据分组和聚合
分组函数groupby（）统计函数count（）要求：剔除空数据后，进行统计。转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11585974.html
2019-09-25 17:04:00
334
转载 pandas中关于数据合并join，merge
pandas中数据的合并与sql语句类似。主要有函数merge，join等。merge函数：数据合并，一般是基于通过列索引的数据合并。其有内连接，外连接，左连接，右连接。内连接：取两组数据的交集。c=pd.DataFrame([[3,2,3],[2,3,4]],columns=list("abc"))b=pd.DataFrame([[2,0,3],[3,2,4],[...
2019-09-25 17:03:00
200
转载 爬虫之scrapy框架知识汇总
pass转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11550375.html
2019-09-19 16:04:00
120
转载 mongodb数据库命令汇总
mongo数据库是NOsql型数据库，其主要应用于数据采集，其读写速度快。1.开启服务端 sudo mongod [--dbpath=** --logpath=** --fork ] 备注：fork表示以子线程方式开启服务端2.开启客户端 mongo3. 集合操作 db.a.insert() db.a.find() db.a.drop()...
2019-09-17 10:41:00
130
转载 一些常用加密，编码的汇总base64 和哈希，MD5，sha1（40位）sha128，sha256加密
1. base64：jiang原八位二进制字符拆解成六位二进制的字符格式（2^6=64）。一种把3字符转换成4字符的编码方式，其用于简单编码加密，防止肉眼直接看到原信息。最普遍的网络数据传输编码方式。像密钥一般都是采用base64编码方式。2.hash算法：一种加密算法，可以将任意长度的字符转换成固定长度的字符。方便存储，校验，防止信息篡改，在非对称加密场合，一般与hashi算法结合...
2019-09-16 17:30:00
4260
转载 爬虫与反爬技术汇总
1.对于爬取模拟用户登陆的网站，可以采用requests.session或selenium进行操作，当然有些网站需要进行图片验证，则可以手工输入，或者采用云打码等平台进行识别2.对于请求的参数是加密的网站，则需要详细分析js代码。3.静态网站，例如京东，其网站为html页面，然后通过渲染进行的。直接爬取该网站，则获取不到有效数据（通过查看其页面源码，没有相关数据）。可以通过sel...
2019-09-16 17:09:00
426
转载 爬虫之爬取某道技术分析
方案： 该网站用来进行翻译。通过对js代码进行分析，其主要是采用md5对输入的salt和sign参数进行加密实现的。因此技术方案有两种：方案一：自己添加md5函数进行加密post数据；方案二：采用js2py包进行添加js文件，模拟执行相关js代码class YYY(): def __init__(self): self.headers = {...
2019-09-16 17:06:00
157
转载 爬虫之12306模拟登陆和购票
1.登陆始终未成功。待做转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11524219.html
2019-09-15 21:00:00
235
转载 web开发之用户单点登陆和多用户登陆实现
pass转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11512659.html
2019-09-12 16:39:00
842
转载 爬虫中如何获取图片验证码
1.采用网站截图方式import requestsimport timefrom selenium import webdriverfrom PIL import Imagedef part_screenshot(driver): driver.save_screenshot("hello1.png") return Image.o...
2019-09-11 23:12:00
1522
转载 web开发中图片保存问题
1.图片验证码如何生成的？ 可以采用pillow库生成验证码图片。2.图片验证码如何进行校验？方案一： 浏览器请求图片验证码时，自动生成一个uuid随机码，后端发送图片时将{uuid和value}进行redis保存。浏览器提交验证时，携带图片验证码uuid和value两个参数。知乎上注册直接使用时间戳作为uuid。方案二：访问页面时，后端的cookie中设置一个uuid随...
2019-09-11 23:11:00
402
转载 python的缓存机制
pass转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11497172.html
2019-09-10 14:08:00
120
转载 python 切片，浅拷贝和深拷贝知识汇总
在python中，没有指针概念，但采用引用来代替这个概念。当对变量赋值时，相当于值的引用地址（类似于物理地址）存储到变量中。 浅拷贝是指拷贝数据的表层，虽是开辟空间，存储数据，但只是copy表层的数据。若数据是多层嵌套，则第二层的数据只是赋值其引用地址。 深拷贝是深层次拷贝数据，另开空间，将数据复制到这里。两个数据没有任何联系。 切片是一种浅拷贝，...
2019-09-10 11:15:00
403
转载 数据结构之二叉树汇总额
二叉树的构造方法： 1.递归方法：class Node(): def __init__(self,value=None): self.lchild=None self.rchild=None self.value=valueclass Bitree(): def __init__...
2019-09-08 18:19:00
108
转载 数据结构之排序算法汇总
排序算法有十多种，按类别来分有交换排序，插入排序，选择排序。其中交换排序有冒泡排序和快速排序，其通过交换元素的前后顺序进行排序；插入排序是将数据逐次插入到有序的数据列中，达到排序的目的，其有简单插入排序和希尔排序；冒泡排序：遍历列表，比较相邻两个数据的大小，后者较小，则交换位置，相当于泡泡，逐次的后移。每次遍历可以将最大值移动到末尾。快速排序：取出任意一个数据作为比较值，然后定义st...
2019-09-08 18:18:00
91
转载 python中pickle与json序列化差异
python中往磁盘存储数据可以采用文件写的方式进行，但采用write函数存储数据时，其数据必须是字符串或二进制数据。如果我们定义了一个类，列表等对象，想要进行存储，那么就必须使用序列化进行存储，采用pickle模块进行格式存储。针对字典的存储，可以采用json模块进行。接下来详细分析pickle的特点。1.pickle存储速度块2.pickle存储占用空间小3，json中存...
2019-09-04 20:18:00
153
转载 硬币题
list = (100, 50, 20, 10, 5, 2, 1)result_dict = {}def cache(func): def wrapper(*args): if args in result_dict: return result_dict[args] else: ...
2019-09-04 19:11:00
329
转载 python中常用的编码与加密方法
pass转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11349348.html
2019-08-13 23:42:00
262
转载 web页面关联qq登陆机理：
关联第三方登陆是目前较流行的登陆方式，可以简化登陆注册环节，给用户更好的体验。其原理是用户登陆qq后，获得code码，web后台携带code信息访问qq服务器，获得openid(其为qq用户登陆qq的唯一id)，将此openid与web用户表进行关联。以后每次采用qq登陆方式访问web页面时，查询web用户表的openid是否存在，存在即可以登陆. 其步骤大概有三步：1.用户访...
2019-08-04 09:50:00
297
转载 vue之知识汇总
vue是比较流行的前端开发框架。$符号，区分系统和自定义的属性、方法；转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11295476.html
2019-08-03 17:10:00
96
转载 python描述符__get__,__getattribute__等属性引用机制
问题1：__dict__魔术属性是什么? python中的元对象object中定义了__dict__属性，其以字典的形式用来承载类中的属性和方法。类的__dict__和类实例对象的__dict__存储的内容不同，类的__dict__存储了类的方法，类变量，静态方法等；实例类的__dict__中存储了自己定义的属性和方法，类变量不在此中存储。例如：class Foo:...
2019-07-30 09:07:00
155
转载 web之django的序列化器汇总
django的rest_framework的一大特色是序列化器，其封装了视图中关于用户请求，验证及响应数据的处理部分，使得程序简洁化。此DRF框架中将数据模型对象转化为json、xml等可传输或存档的格式的过程称为序列化，反之称为反序列化。序列化器是专注于此类行为的类，有自定义序列化器，模型类序列化器，视图集合三类。1.视图函数2.类视图1.自定义序列化器自定义的序...
2019-07-26 17:40:00
190
转载 web项目之新闻资讯API接口汇总
1.新闻资讯项目的接口： 接口设计事宜：局部加载需要新开接口，全部加载不用新开接口； 局部请求返回状态码，全局请求渲染整个页面；备注：图片或文件部分暂未增加接口，发送邮件及邮件点击链接部分未增加接口 为什么要增加邮件点击链接呢？点击链接后如何进行验证确认？主页：/ 分类列表：/newslist 携带查询页数 ...
2019-07-24 22:53:00
1499
转载 django之orm数据库的操作
django支持基于orm模型的数据操作。其运算符较特殊，> < =等符号由gt，lt等代替。其查询条件模式为：字段——比较运算符。 查询过滤器：filter，aggregate，exclude， 条件为与或非时，需要用到Q对象，对应的符号为& | ～。 多字段进行比较，需要用到F对象 关联查询中： 访问多方 多方类名__set.all();访问一...
2019-07-21 22:29:00
128
转载 web中状态码及请求方式
1.web中的请求状态码：201创建或更新数据成功204删除数据成功301永久重定向，多次发请求时，直接进入定向后的网址，相当于一次请求302临时重定向，一次请求时，请求完后，进入定向的网址，相当于两次请求303表示对post请求进行重定向307表示对get请求进行重定向400 前端请求错误401 用户未进行登录认证403 无访问权限404请求未找到...
2019-07-20 11:53:00
194
转载 python之pillow库的调用汇总
pass转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11148832.html
2019-07-07 23:26:00
460
转载 flask_sqlalchemy对数据进行操作
1.如何建表(增删改查)2.如何对已存在的表进行增删改查方法一：采用映射数据库的方法操作已存在的表，需要使用automap_base函数。缺点：由于是映射一张表，表与表之间的关系不能反应，查询多对多关系表时意义不大。from sqlalchemy import create_enginefrom sqlalchemy.ext.automap import automa...
2019-07-06 16:13:00
152
转载 flask之cookie与session区别
用户身份校验是web访问时的重要步骤。常用的身份校验方式有cookie，session和jwt三种。其中cookie和session是较传统的校验方式，其采用将用户信息保存在服务器或浏览器中，用户访问时，携带相关信息，有服务器进行校验。最近流行的JWT令牌是一种分布式的跨域验证机制造。其允许跨域，另外将token保存到浏览器，避免了采用数据库保存用户信息。在分布式服务器运行场合，其校...
2019-07-05 21:58:00
235
转载 redis知识汇总
redis是一个内存型存储的数据库，所有数据都存储在内存中。因此读写速度块，一般应用于缓存等场合。 1.redis具有string，hash，list，set ，zset等数据类型，其在数据库中的存储方式是key-value。转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11127311.html...
2019-07-03 16:33:00
107
转载 flask之三ORM模型及自关联一对多，多对多模型建立
pass转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11117197.html
2019-07-01 22:24:00
362
转载 web开发之csrf机理
csrf是跨域请求伪造，其基于cookie机制的状态保持特点进行伪造用户请求。用户登陆信任的网站后，在未退出状态时，访问其他非信任攻击网站（由于cookie的同源策略，不能跨域请求，但可以在子域名或同域名内进行cookie携带）会自动携带cookie信息，此时攻击网站会获取用户cookie信息，并向信任网站发送请求，更改用户信息等操作。 策略：一般策略时，表单中...
2019-07-01 22:23:00
94
转载 flask之二 蓝图机制
pass转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11117182.html
2019-07-01 22:22:00
126
转载 flask之二 jinja2知识汇总
1.jinja2模板1.1 控制代码块 jinja2主要负责渲染网页。其主要分为变量代码块{{ }}和控制代码块{% %}。变量代码块主要用于变量的内容显示，控制代码块可以控制显示的内容。控制代码块的语句主要有if else，for 两种。1.2 过滤器过滤器也是一种控制html显示的常用方法。常用的过滤器有upper，lower，reverse，captaliz...
2019-06-30 15:16:00
142
转载 python只数据处理的索引
pass转载于:https://www.cnblogs.com/xuehaiwuya0000/p/11109867.html
2019-06-30 15:12:00
109
转载 python中x[y]与x.y的深度理解：
1.x.y表示获取对象的属性，其对应的函数是getattr(x,y)。python中一切皆对象，均是object类的子类，object类具有__getattribute__()的方法。此方法等同于getattr(),只是调用时写法有差异。例如x.y -------getattr(x,y)--------x.__getattribute__(y)。 2.x[y]是用来获取对象的索引...
2019-06-27 12:31:00
6864
转载 flask中route详解
flask是一个轻量级的web开发框架，其装饰器route函数随处可见，是用来将url和视图函数进行匹配的。路由函数route的调用有两种方式：静态路径和动态路径方式1：@app.route("url")url为静态路径格式 @app.routeI("url")def func(): pass方式2：采用<>进行动态url的传递，@app.route...
2019-06-27 12:30:00
1839
转载 flask转换器类中to_python 和 to_url 区别
flask框架中，转换器是一个较常用的对象。其常规的转换器有 int，float，path，any，string，default，uuid七个转换器，其中默认是字符串转换器。若想匹配特定的url路径，需要定义自己的转换器类。转换器类中有两个方法to_url和to_python都是用来对客户请求路径进行匹配的。其中to_url是在重定向时，依赖url_for函数匹配建立用户的路径。匹配...
2019-06-25 23:18:00
299
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人