- 博客(78)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 91job就业知识竞赛题库的爬取
最近呢一个大学生就业知识竞赛（这个需要有需要学生的账号才可以登录）的一个比赛，从这个网站上来看的话，如果你要是自己去看题库的话，是很不容易记住的，而我用的方法是将他的题库用爬虫爬取下来，然后再做的时候就可以直接查看了，今天呢闲下来了就把我之前爬取这个题库的过程写一下吧，仅供学习使用在网站中找到请求返回数据那个包，如图可以看出是那个question那个包返回的数据，并且里面有我们想要的数据当我们找到请求返回的响应数据包的位置的时候去查看请求时响应对应的地址和请求时headers携带的数据（由于是
2020-10-30 02:55:37
2064
原创 tensorflow框架使用和线性回归的实现
深度学习Tensorflow 1.0框架Tensorflow基础TensorFlow进阶图会话张量变量可视化实现线性回归模型加载和保存自定义命令行参数
2020-09-08 10:59:45
262
原创 回归算法分析和非监督学习
机器学习算法回归算法分析矩阵线性回归(迭代的算法)回归性能评估过拟合和欠拟合岭回归模型的保存和加载分类算法-逻辑回归朴素贝叶斯和逻辑回归对比损失函数对比 -- 梯度下降求解非监督学习-聚类算法-kmeans
2020-09-03 16:27:39
1126
原创 数据划分和分类算法
数据划分和分类算法sklearn数据集与估计器数据集划分转换器和预估器分类算法-K近邻算法分类算法-朴素贝叶斯算法分类模型评估模型的选择与调优决策树与随机森林
2020-08-31 22:34:17
1133
原创 pandas学习摘要一
pandas 库常用的数据类型SeriesDataFramedataframe 方法dataframe中的排序方法读取文件pandas 中取行取列缺失数据的处理常用的统计方法
2020-08-28 11:28:27
142
原创 numpy学习摘要一
numpy 库创建数组数组计算numpy 读取数据转置索引和切片值的修改三元运算符和裁剪numpy中的nan是浮点类型np.count_nonzero() 统计非0的个数/true的个数numpy 中统计方法
2020-08-27 10:09:48
142
原创 学习爬虫day08
在使用xpath.extract()去出来有空格crawlspider 的使用 代码在 f005中判断代理ip是否可用下载中间件 代码在f005中scrapy模拟登陆 f006url不完整的时候scrapy_redis 使用request 对象什么时候回入队scrapy_redis 去重方法生成指纹判断数据是否存在redis的集合中,不存在插入增量爬虫 断点续爬分布式爬虫自动获取url地址 re 和 xpath正则去除多余的字符和空字符串
2020-08-19 22:06:58
148
原创 学习爬虫day07
异步和非阻塞的区别scrapy创建设置scrapy使用scrapy 的数据流程scrapy的使用流程logging 日志模块scrapy 中的setting.py中的设置含义程序中使用setting.py中的变量pipelines 中的 open_spider 和 close_spiderscrapy 中的Item是什么，如何使用scrapy 如何发送请求scrapy 如何把数据从一个解析函数传递到另一个,为什么需要这样做
2020-08-18 14:14:59
119
原创 学习爬虫day06
Mongodb 使用 - 以集合存储删除查询排序 统计去重聚合 aggregate$group的注意点索引爬虫数据去重,实现增量式爬虫
2020-08-17 11:35:11
95
原创 mogodb使用
Mongodb 使用 - 以集合存储删除查询排序 统计去重聚合 aggregate$group的注意点索引爬虫数据去重,实现增量式爬虫
2020-08-14 18:04:49
151
原创 爬取豆瓣电视剧数据
这里解决的在爬取豆瓣网站时候值爬取到了一下内容 {"msg": "invalid_request_1284", "code": 1287, "request": "GET \/rexxar\/v2\/subject_collection\/tv_american\/items", "localized_message": ""}
2020-08-07 12:08:37
2426
1
原创 学习爬虫day02
使用代理ip携带cookie请求使用requests提供的session类来请求登录之后的网站思路不发送post请求，使用cookie获取登录的页面获取登录后的页面的三种方式字典推导式列表推导式寻找登录的post地址定位想要的jsrequests技巧使用报错后刷新，进行重新运行 parse_url.py安装第三方模块
2020-08-05 11:26:29
96
原创 学习爬虫day01
爬虫的概念爬虫流程爬虫要根据当前url地址对应的响应为准，当前url地址的elements的内容和url的响应不一样页面上的数据在哪里str bytes 如何转化requests模块requests中解决编码解码的方法保存文件的内容获取的内容判断请求是否成功url 编码
2020-08-04 14:36:16
161
原创 redis数据库简单且实用
redis数据库1. 关系型数据库与NoSQL数据库：关系型数据库NoSQL型数据库(not only sql)2. redis3. string数据类型4. 键命令 --- 支持正则5. hash类型6. list类型7. set集合类型8. zset类型9. 与python交互10. django中session设置redis
2020-08-02 11:21:31
201
原创 bootstrap使用介绍
一、bootstrp介绍二、容器三、栅格系统栅格响应式布局四、列偏移、隐藏类1. 列偏移2. 隐藏类五、按钮六、表单七、导航条八、模态窗（弹窗）九、路径导航和下拉菜单
2020-07-29 10:08:46
153
2
原创 js本地存储-移动端生鲜页面
jQuery库使用一、存储--服务器环境下1. cookie2.webstorage3. 一段时间弹出一次的弹窗二、移动端幻灯片及整体制作
2020-07-28 10:40:25
316
原创 Ubuntu安装fast dfs和nginx的过程
fast dfs 和nginx安装以及 fastdfs-nginx-module安装出现过的错误：Failed to start fdfs_trackerd.service: Unit fdfs_trackerd.service not found.the HTTP rewrite module requires the PCRE library./configure: error: the HTTP gzip module requires the zlib library.
2020-07-27 16:51:58
150
原创 jquery(三)节点操作-滚动事件-ajax
jquery库三一、节点操作1. 节点操作的内容2. 使用验证实例3. 节点操作+事件委托-计划表二、滚动事件和函数节流1. 滚动事件2. 函数节流三、ajax1.json数据格式2. ajax的使用方法四、总结：一、节点操作1. 节点操作的内容放到父级内容后面:1. x.append(a): 在节点的尾部插入 将a放到x中去 父元素类后面放入子元素2. a.appendTo(x): 将a放到x中 子元素放到父元素的后面放到父级内容的前面1. prepend()2. pr
2020-07-27 09:38:48
270
原创 windows下在使用django时用到fdfs_client模块的安装问题
问题： ERROR: Command errored out with exit status 1: command: 'E:\Anaconda3\envs\django\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\Suger\\AppData\\Local\\Temp\\pip-install-go6m1ftd\\fdfs-client\\setup.py'"'"';
2020-07-26 16:59:54
409
原创 jquery库使用(二)尺寸位置-元素属性-循环-事件冒泡-事件委托
jquery库使用二一、尺寸和位置1. 获取元素的尺寸2. 获取位置信息3.置顶菜单二、元素属性操作三、jquery循环四、 手风琴实例五、jQuery事件1. 事件操作2. 事件使用3.绑定事件的方法六、事件冒泡和时间委托1. 事件冒泡2. 事件委托七、总结
2020-07-26 10:57:28
133
原创 django3.0.4在使用 authenticate检测用户的登录是出现的错误
使用django中authenticate检测用户登录，用户名、密码都正确，但是没有激活，他的返回值一直是None，使得用户未激活用户一直显示用户名密码错误
2020-07-25 11:52:49
1098
原创 jquery库使用(一)-加载-选择器-css属性操作-特殊效果-animate-链式调用
jquery一、jquery加载二、选择器1. 选择器的使用2. 选择集的过滤三、css属性操作1. 读写css属性2.样式类名操作3. 获取元素的索引值和当前元素4. html内容/text内容/属性值获取与设置四、jquery的特殊效果1. 淡入淡出2. 显示与隐藏3. 向上卷起和向下展开4. 每个效果都有三个参数 (时间，运动曲线，回调函数) -- 一般只是用时间和回调函数；运动曲线一般都为默认的匀速5. 实例:五、animate动画1. 使用方法2. 实例一:3. 实例二：滑动选项卡六、链式调用1.
2020-07-25 09:36:59
257
原创 使用django 、redis和celery做异步的邮件发送出现的错误
错误一：RecursionError: maximum recursion depth exceeded while calling a Python object错误二：tasks, accept, hostname = _locValueError: not enough values to unpack (expected 3, got 0)
2020-07-24 17:46:40
300
原创 PC端天天生鲜页面实现
项目的效果图项目目录│ index.html│ server.js│├─css│ main.css│ reset.css│├─images│ │ adv01.jpg│ │ adv02.jpg│ │ banner01.jpg│ │ banner02.jpg│ │ banner03.jpg│ │ banner04.jpg│ │ banner05.jpg│ │ banner06.jpg│ │ icons.png│
2020-07-24 10:21:09
604
原创 js中常用的内置对象
常用的内置对象一、document二、location三、Math对象四、调试程序的方法四、综合实例之弹窗倒计时一、documentdoucment.getElementById()通过元素id来获取元素document.getElementByTagName()通过标签来获取元素document.referrer()获取上一个跳转页面的地址----需要服务器环境二、locationwindows.location.href跳转的url地址 重定向window.location
2020-07-23 09:40:23
703
原创 js-数组-循环-字符串处理-定时器
这里写目录标题一、数组1.定义2. 操作数组3. 多维数组二、循环1. for 循环:2. while循环3.实例一：循环将数据放到页面上3.实例二：数组去重三、字符串的处理方法 四、定时器 五、总结
2020-07-22 10:26:05
948
原创 JavaScript-基本操作-操作元素-函数-运算
原生js一、基本操作1.js的引入的三种方式2. 变量类型3.获取元素的方法二、操作元素属性1. 点操作 “.”2. 中括号操作“[]”3.操作元素包裹的内容三、函数1. 函数的定义与执行2. 提取行间事件 让html与js实现解耦3.匿名函数4. 变量和函数与解析5.函数传参四、运算符和条件语句1.条件语句2. 算术运算符3.赋值运算符4. 条件运算符五、总结
2020-07-21 09:34:57
209
原创 移动端网页开发
移动端网页开发一、视口二、retina屏幕适配三、背景图尺寸设置四、流体式布局五、响应式布局六、单位em七、单位rem一、视口解释：视口是移动设备上用来显示网页的区域,-般会比移动设备 可视区域大,宽度可能是980px或者1024px,目的是为了显示下整个为PC端设计的网页,这样带来的后果是移动端会出现横向滚动条,为了避免这种情况，移动端会将视口缩放到移动端窗口的大小。这样会让网页不容易观看,可以用meta标签, name="viewport”来设置视口的大小,将视口的大小设置为和移动设备可视区一样
2020-07-20 10:38:14
1352
原创 CSS3圆角-透明操作-动画效果
CSS3一、CSS3圆角二、rgba(新的颜色值表示法)三、transition动画四、transform变换五、animation动画1.解释2.风车旋转的实例3.登录中的loading动画
2020-07-19 10:36:20
576
原创 CSS-定位-背景图
定位-背景图一、定位(position)1. 相对定位(relative)2.绝对定位(absolute)3.固定定位(fixed)4.定位练习二、背景图(background)1.属性：2.实例一：3.背景图定位：4.雪碧图的使用：三、总结一、定位(position)1. 相对定位(relative)解释相对定位元素，元素所占据的文档流的位置保留，元素本身相对原位置进行偏移;一般用来让子元素参考练习<!DOCTYPE html><html lang="en"><
2020-07-18 11:04:52
196
fdfs_client-py-master.zip
2020-07-26
全国城市三级联动-学习使用数据库文件
2020-06-30
navicatess15企业版精简版.zip
2020-05-12
navicat15正式版.zip
2020-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人