- 博客(27)
- 收藏
- 关注
RSS订阅原创 python虚拟环境的搭建(centos)
安装virtualenv、virtualenvwrapperpip install virtualenvpip install virtualenvwrapper
2023-03-24 17:36:25
682
原创 centos分别创建不同版本的python3虚拟环境
下面分别用venv和virtualenv两种方法创建python3.6和python3.7的虚拟环境
2023-03-23 17:04:32
455
原创 [python] str、bytes、BytesIO、Image的相互转换
byte_data = base64.b64decode(string) ...
2023-02-09 15:51:20
1280
原创 win下安装Django2.2
官网 https://www.djangoproject.com/download/我下载的2.2.28，因为是外网速度会很慢进到Django-2.2.28目录下打开windows的终端：运行–>cmd，执行3. 检测是否安装成功。
2022-12-09 09:52:35
653
原创 pymysql, pandas, sqlalchemy 性能对比
根据上篇文章可以得出sqlalchemy 中core 模式批量插入性能明显提高本篇文章介绍python中多种插入方式。
2022-09-20 10:48:00
2106
原创 scrapy融合jsl
把settings.py中COOKIES_ENABLED设置为True, 然后在middlerware或spider文件中, 以键值对cookies={} 的形式设置cookie.把settings.py中COOKIES_ENABLED设置为False, 然后在middlerware或spider文件中, 以字符串的形式设置headers中的cookie..........
2022-08-18 10:54:13
225
原创 SQLAlchemy core和orm批量插入对比
因为服务器太烂, 插入数据有时非常慢, 所以想在性能上做些优化查阅网上多篇资料文章, 发现core模式比较快。
2022-08-15 17:28:48
357
原创 替代imread函数, 直接读取字节
imread只能读取本地文件有时候我们不想把图片存下来再读取,很麻烦如果能将请求下来的base64或字节直接读取。
2022-07-27 17:17:55
614
原创 sojson记录
问题点开网站xxx/104361/126481/20071232/802696445/2546656459042前面值都一样, 找最后一个值怎么生成的思路猜想 可能是根据 “600d339e” 通过house方法加密生成的, 打断点看一下打开F12, 先去debugger, 一般的置空法什么的不管用查看堆栈, 看debugger在哪个地方生成的, 把所在相关方法大胆删除, 如果你看过sojson官网就知道好多垃圾代码, 然后跑一下js试试果然debugger没了这个错是layer未
2022-03-11 15:46:24
839
原创 git修改远程仓库地址
本地删除文件夹下.git文件git initgit add .git commit -m 'first commit'git remote add origin [url]git push -u origin master新建仓库时, 如平台仓库上有其他文件, 上传会有冲突, 舍弃线上的文件就用下面命令强制上传git push -u origin master -f服务器#查看所有远程仓库git remote#删除git remote rm origin#添加git remo
2022-03-04 11:20:46
1019
原创 fiddler + proxifier抓取夜神模拟器的包
fiddler + proxifier抓取夜神模拟器的包现在看个病预约太难了就想写个脚本监控一下. 抓包发现该app本机代理被检测了,直接没网抓不到包就想着开个模拟器在外部抓包来避开检测应该可行吧，在网上翻阅资料发现可以利用proxifier配置FD的配置网上一大把就不说了proxifier下载proxifier (http://www.51xiazai.cn/soft/971579.htm) 这是中文版的工具栏找 配置文件>>代理服务器打开夜神模拟器 找到进程名配置文
2021-08-25 15:28:35
1777
原创 FD的设置和抓取python请求包
1. FD的设置打开FD在工具栏找到 Tools => Options => HTTPS按图示操作到第三步后点击Actions, 选择第一个Trust root certificate, 然后点ok, 重启FD2. 抓取scrapy请求再在工具栏找到 Tools => Options =>Connections查看端口是否为8888(默认就是8888)然后在scrapy请求中加入代理, requests同理.yield scrapy.Request(
2021-06-07 14:22:11
1076
原创 用python提取pdf表格
一. camelot能够直接将大部分表格转换为 Pandas 的 Dataframepip install camelot-py[cv]import camelotdata = pd.DataFrame()file = '111.pdf'#指定页数for page in range(1,3): table = camelot.read_pdf(file,pages=str(page)) data = data.append(table[0].df, ignore_index=T
2020-09-23 15:06:18
292
原创 scrapy post请求问题
某网站的表单信息有一个值为 (unable to decode value)headers中Content-Type: application/x-www-form-urlencoded我以为是需要编码一下from urllib.parse import urlencodedata = {'name':'查询'}# 使用scrapy自带的post请求方法，将字典直接传入formdata，如果不设置headers Content-type默认的为'application/x-www-form-ur
2020-08-05 16:32:59
339
原创 python判断字符串是否包含或全是中文
参考: https://segmentfault.com/a/1190000017940752?utm_source=tag-newest#检验是否全是中文字符def is_all_chinese(strs): for _char in strs: if not '\u4e00' <= _char <= '\u9fa5': return False return True#检验是否含有中文字符def is_contains_chi
2020-05-29 16:31:55
3389
原创 解决navicat定时任务不执行
navicat for MySQL定时执行事件出现过两次不执行情况:第一次服务器重启后未按时运行;第二次情况未知;以下两种解决方式:第一种查看定时任务的是否开启show variables like '%sche%';如果’event_scheduler’为OFF或0通过执行下列语句, 来开启event_scheduler, 把设置为设为ON 或 1set global event_scheduler =1第二种查看事件, 看事件状态是否为ENABLEshow events;
2020-05-27 10:52:32
3948
原创 安装虚拟环境以及warp-ctc
使用vi无法插入和删除:参考https://blog.csdn.net/m0_38133212/article/details/97101658修改文件 : sudo vi /etc/vim/vimrc.tiny先在命令模式下输入：set nocp修改set compatible 为 set nocompatible 设置是否兼容添加 set backspace=2 设置 backspa...
2020-03-20 17:08:05
509
原创 ubuntu安装vmware tools和python
wget http://www.python.org/ftp/python/3.5.2/Python-3.5.2.tgz tar -xvzf Python-3.5.2.tgz cd Python-3.5.2./configure --with-ssl make sudo make install如果在执行make后报以下错误:configure: error: no acc...
2020-03-20 14:00:46
105
原创 python关于Crypto的安装和安装完后一系列问题
安装查阅网上一些安装资料都是pip install pycrypto 我各种尝试都是报错,无意间发现用pycryptodome这个库安装成功.pip install pycryptodome -i https://pypi.douban.com/simple/报错在安装完成后,执行代码又一次报错TypeError: Object type <class 'str'> ca...
2019-12-02 15:51:17
768
2
原创 scrapy关于请求带有时间戳链接会失效问题
可以在middleware的process_request方法中修改请求的urldef process_request(self, request, spider): request._set_url(request.url + '&msg=%s' % int(round(time.time() * 1000)))同理也可以在process_response中修改或直接修改响...
2019-08-21 11:02:35
542
原创 scrapy主动结束爬虫任务
实现原理def __init__(self, crawler): self.crawler = crawler @classmethod def from_crawler(cls, crawler): return cls(crawler) # 结束爬虫 self.crawler.engine.close_spider(spider, 'closespid...
2019-08-21 10:46:00
1874
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人