- 博客(10)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 docker使用及部署python项目
一：使用场景假如我们要部署一个Python应用程序，要做哪些工作？首先需要python运行环境装完python之后，发现还要装mysql或者redis，或者其他的Python包如果服务器不用了，要换一台机器，重新来一遍环境吧所以没有docker部署服务之前，搞得开发人员很蛋疼的点发布和部署低效又繁琐，经常需要人工介入环境的一致性难移保证在不同环境之间迁移的成本较高而使用d...
2019-10-28 16:13:11
3181
1
原创 scrapy爬虫设置停止的条件
使用scrapy做爬虫程序时，有时候我们需要在爬虫满足一定条件时，将程序中断掉，从而不再向服务器发送已经没有意义的请求。一：scrapy中提供的两种停止的方式： 1.在spider中停止爬虫： 在解析函数中调用内置函数self.crawler.engine.close_spider(self, "当调用此方法时打印信息为：无有效信息，关闭spider") 设置条件，当满足一定的条...
2019-08-29 17:53:44
6303
1
原创 修改docker 相关配置
1.先创建"E:\Docker"目录2.管理员打开cmd执行：mklink /j “C:\Program Files\Docker” “E:\Docker”。3.最后安装docker就可以了。
2021-03-09 17:32:12
212
原创 爬虫
正在研究各种js加密的破解方法：各种网站的登陆破解，包括：126邮箱,17173,189邮箱,360登录中心,37玩,39健康,51游戏,58同城,bilibili,YY直播,一加手机,今日头条,企查查,优酷视频,启信宝,和讯网,咪咕视频登录,唯品会,喜马拉雅,国美,大众点评,大麦网,天眼查,好豆菜谱,宜贷网,小米商城,开源中国,恒信易贷,房天下,掌上移动,搜房帮,搜狐,搜狐邮箱,搜狗翻译,斗鱼,新华电子邮局,易车网,有赞网,有道翻译,淘宝,游乐会,爱企查,爱应用,猫眼,珍爱网,百度网盘,空中网,筑龙学社,
2021-01-27 16:12:41
985
3
原创 极验验证码的图片还原
极验验证码的图片还原思路1.获取图片地址由上方的图片获取到图片的地址，完整链接需要地址前方＋"https://static.geetest.com/"请求图片之后得到混淆的图片上方乱序的图片需要进行重组才会得到正常的图片，直接上代码：下面展示一些 内联代码片。// A code blockvar foo = 'bar'; def get_merge_image(imurl): # 传入带缺口信息的图片的地址 location_list = [{"x": -157, "
2020-12-21 15:56:21
1853
2
原创 pandas的各种简单操作
Pandas 是python的一个数据分析包，提供了大量能使我们快速便捷地处理数据的函数和方法。import pandas as pd 是导入pandas的公认写法pandas有两种数据结构：1.SeriesSeries类似于一维数组对象，它由一组数据以及一组与之相关的数据标签组成2.DataFrameDataFrame是一个表格型的数据结构，既有行索引又有列索引。行索引称为inde...
2020-04-03 13:41:49
277
原创 scrapy框架设置代理的两种方式
使用scrapy框架编写爬虫程序时与直接使用requests包的不同点就在于：scrapy是封装之后的requests很多的功能以及设置都已经默认封装好了，有一些基本的设置直接可以在setting文件中修改，而且创建多个爬虫也非常的方便，但是对于对scrapy框架了解没那么深入的人，想要修改稍微复杂一点的功能又非常的困难（我记得我刚开始做爬虫的时候就是采取scrapy与requests相结合的方法...
2019-08-29 16:01:14
2578
2
原创 scrapy的基本创建以及全局命令
1.scrapy startproject projectname 创建名称为projectname的scrapy项目2.scrapy genspider example 3.com 创建名称为example的spider ，allowed_domains为 3.com3.初始化的介绍，目录结构为：spider文件初始为：此处可以定向的修改，具体的项目修改为具体的allowed_do...
2019-07-25 17:02:58
541
原创 mysql报错1206
mysql报错1206对mysql的一个表格做操作时出现（error-1206），说明文件太大，临时表已经超出了大小，这时候可以修改innodb_buffer_pool_size的值。innodb_buffer_pool_size参数的值可以动态的设置，也就是说如果进入mysql服务里面进行修改该值会立即使用修改后的值，但是重新启动mysql服务时会回复默认值，如果想永久修改innodb_b...
2019-05-13 14:34:59
3761
squid代理使用经常timeout
2023-04-03
fastapi渲染页面的同时如何设置cookie
2021-08-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人