- 博客(22)
- 收藏
- 关注
RSS订阅原创 svn数据迁移
1.导出数据:svnadmin dump [src源路径] > [drs.dump 目标文件]2.导入数据svnadmin load [目标库] < [源文件]注意:路径必须无空格.
2020-07-13 16:20:10
158
原创 python2.7 UnicodeDecodeError gb2312 codec cant decode bytes 错误解决
前言维护python2.7的一个小程序,编码问题,真的是搞死人.解决UnicodeDecodeError: 'gb2312' codec can't decode bytes1.这个错误我在在接受邮件时报错的,意思是邮件正文中邮非法的字符串,指定编码无法解码…2.在调试过程中,灵光一闪,如果把非法字符忽略如何,决定深入看下decode()这个方法的源码.居然被我找到解决办法了.bytes.decode([encoding="utf-8"][,errors="strict"])bytes 表
2020-06-17 08:55:56
3144
1
原创 tomorrow 与 concurrent.futures 多线程比较
前言现在有个需求是进行大批量文件copy,写完脚本,运行一下,发现速度实在太慢.要优化只能加多线程,为了图方便,我第一时间想到的是tomorrow这个库.设置线程运行后,发现效率有所提升,但是感觉还是比较慢,最后使用pyton标准库concurrent.futures比较了一下.发现concurrent快好多.话不多说,上代码.实践def test_path(): pool = Pool(max_workers=5) // 设置线程池 src = r'I:\wbdata\TA'
2020-05-25 14:25:05
188
原创 python连接oracle数据库
前言1.现在互联网公司基本关系型数据库都是MySQL,但是很多金融券商和传统不差钱的企业还是用的oracle.2.因为突然接触到了oracle,感觉还是有必要写一个简单的连接教程.3.python oracle说实话,比MySQL简单很多.如果是MySQL的话还有还有orm的连接方式.姿势太多.python简单连接教程import cx_Oracle //创建连接 conn = cx_Oracle.connect('hsfa30', 'Precious##5123', '
2020-05-25 10:35:10
201
原创 .exe执行文件传参数
步骤在xx.exe同目录下创建一个xxx.txt文件.xxx.txt文件保存要传入的字符串.cmd 执行 xxx.exe > xxx.txt
2020-05-07 15:56:08
667
原创 windows系统下进程监控
前言突然又个需求,要监控windows下本地的一个数据处理脚本.防止它挂掉.以及要自动重启.但是没搞过呀…怎么办,硬着头皮上呀!话说这也是奇葩需求…教程class Powershell: def __init__(self,lists, Email): self.lists = lists self.email = Email def ...
2020-05-06 16:34:17
961
原创 minicoda与 pipenv 比较
前言Python 包管理工具有很多,我最近使用了 coda和 pipenv,遇到一些坑,不吐不快.先说结论,不要使用pipenv,麻烦,坑多.比较版本依赖pipenv是创建一个包管理容器,但是主要执行环境还是依赖本机Python 版本.这意味着如果你有多个不同 Python 版本的项目,在 pipenv lock文件中会出现冲突.miniconda 则是在 create 命令中指...
2020-04-15 21:17:50
439
原创 淘宝模拟请求的坑
前言最近在搞淘宝模拟请求,上次把请求的加密参数搞定,所以接着把整个流程搞完.坑sign坑sign中签名参数c.data千万不能用json序列化.因为签名的顺序是固定的,用json将字典序列化后是顺序是随机的.page坑page=1请求在url中是字符串,page=2请求在url中是数字.真是巨坑,调试了好久.cookie坑没有登录时,只能获取page=1的商品数据.无法获...
2020-04-01 11:52:31
3548
6
原创 pyexecjs执行js报错:Unterminated regular expression literal '/'
前言在执行js文件的时候,execjs报了这个错.解决一般出现这个错误都是转义问题,在js文件中多添加一个\转移符就好了.a = a.replace(/\r\n/g, "\n");改为a = a.replace(/\\r\\n/g, "\\n");...
2020-03-25 11:02:18
7542
原创 淘宝店铺商品全量爬取
场景1.获取淘宝某个店铺下商品价格和销量逆向思路分析1.在店铺首页点击宝贝栏目,打开调试,发现 https://h5api.m.taobao.com/h5/mtop.taobao.wsearch.appsearch/1.0/这个接口.返回json数据格式,里面包含了商品价格和销量.2.再仔细看接口,发现做了加密jsv: 2.5.1appKey: 12574478t: 15851...
2020-03-25 10:44:01
2996
2
原创 uwsgi socket 队列溢出
原因1.uwsgi 默认队列是128.解决方法一:vi /etc/sysctl.confsysctl -porsysctl -w net.core.somaxconn=1024方法二:threads: 111 在配置文件注释这个 uwsgi的参数只使用进程方法三:推荐如果是用 docker 部署,运行时添加 --sysctl net.core.somaxconn=409...
2019-11-25 14:45:38
349
原创 Docker service endpoint with name xxx already exists.
原因使用docker部署服务，启动容器时有时会遇到如标题上的这种报错。意思是这个端口已经被名为xxx的容器占用了。 而执行 docker ps 又找不到这个容器，这种情况，通常是xxx容器没有正常删除导致的。解决方案1.查看容器docker ps -a2.删除容器docker rm -f xxx3.删除容器占用的端口docker network disconnect --fo...
2019-11-25 14:39:45
550
原创 docker install mysql
参考参考1官方安装1.拉取镜像docker pull mysql2.查看镜像docker images3.创建容器$ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tagsome-mysql是您要分配给容器的名称，my-secret-pw是要为MySQL根用户设置的密码，并...
2019-11-22 10:13:29
95
原创 docker install redis
参考安装//拉取镜像1.docker pull redis docker search redis 查询可用redis版本//查看镜像2.docker images//创建容器3.$ docker run -itd --name redis-test -p 6379:6379 redisOR: docker run -d --restart=always -v /da...
2019-11-22 10:12:41
85
原创 docker install RabbitMQ
安装1.这里注意获取镜像的时候要获取management版本的，不要获取last版本的，management版本的才带有管理界面。0.参考: https://www.jianshu.com/p/14ffe0f3db94 https://www.jianshu.com/p/a4534d67ee961.查询镜像docker search rabbitmq:managemen...
2019-11-22 10:09:57
81
原创 SSH终端自动登录
前言1.日常开发使用的是mac,登录ssh使用的是终端.2.但是如果有多台服务器,终端ssh登录就变得非常不友好.所以迫切需要自动登录.介绍expect是一款自动化的脚本解释型的工具。expect基于tcl脚本，expect脚本的运行需要tcl的支持。expect对一些需要交互输入的命令很有帮助,比如ssh ftp scp telnet。远程登录linux服务器的时候，ssh命...
2019-10-31 15:02:23
660
原创 python APScheduler简易教程
APScheduler说明:APScheduler是基于Quartz的一个Python定时任务框架，实现了Quartz的所有功能，使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务，并且可以持久化任务。基于这些功能，我们可以很方便的实现一个python定时任务系统。cron定时调度（某一定时时刻执行)interval 间隔调度（每隔多久执行）date 定时调度...
2019-10-28 17:12:55
657
原创 ubuntu下使用crontab任务
前言1.使用crontab可以有效的替换在脚本内部构建定时任务的做法.2.好处就是可以节约内存,不用维护一个定时任务出来.3.参考 https://www.cnblogs.com/xwdreamer/p/8980719.html教程crontab -l //显示用户的crontab文件的内容crontab -e //编辑用户的crontab文件的内容crontab -r //删除...
2019-10-17 14:13:38
122
原创 python Sqlalchemy简易教程
https://blog.csdn.net/counsellor/article/details/60139569https://blog.csdn.net/kaku21/article/details/42741595https://www.cnblogs.com/yaohan/p/6283856.htmlhttps://blog.csdn.net/liukeforever/articl...
2019-09-20 15:36:06
143
原创 Python 封装log类,实现字体颜色控制.
介绍写这个类的初衷是想自己控制日志,找了许多现成的库,发现问题都很多.loguru比较好实用,但是发现无法异步调用.一旦异步调用,会导致日志信息记录混乱.dome优点线程安全.颜色可配置.代码逻辑明了,容易再加工.缺点功能不完善,邮件,钉钉等发送没配置.__get_log_path这个模块要手动配置项目路径.import loggingclass Loggers...
2019-09-20 10:54:29
1335
原创 Git立刻上手系列
语法创建$ 需要创建的版本库的目录 [pwd 显示当前目录]git init :创建当前目录为git版本库添加git add :将文件添加到仓库git commit :将文件提交到仓库,-m “对提交文件进行注释”;版本状态管理git status :查看仓库当前状态git diff :查看具体文件差异git log :查看日志分支git branch :查看当前分支 gi
2017-11-26 21:50:26
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人