3 西山枫叶

尚未进行身份认证

我要认证

计算机专业 做python 后端 / 爬虫 / 逆向 ,可以留言,私信

等级
TA的排名 1w+

selenium+chromedriver 本地使用和服务器使用

selenium+chromedriver 本地使用和服务器使用服务器使用:首先需要安装 google-chrome 官网下载-进入再点击其他平台64 位 .deb(适用于 Debian/Ubuntu)64 位 .rpm(适用于 Fedora/openSUSE)然后使用 google-chrome --version 查看 版本下载对应chromedriver 版本 下载链接1 下载链接2网速慢的 试试翻墙运行代码测试本地使用:先在本读Google 浏览器查看版本下载对应版

2020-09-25 18:02:58

ocr识别-总结python图片操作

本周使用了百度的OCR图片识别服务,遇到了一些问题,这里总结一下。其中api中说明识别限制:1.图片 分辨率不高于4096*40962.图片 base64编码后小于4M超过后,需要重新上传针对这两个要求做一下图片处理,主要使用python的PIL包思路主要是:超过限制的就缩小图片分辨率1.图片 分辨率不高于4096*4096from PIL import Image#等比例缩小def process_image(filename, mwidth=4000, mheight=400

2020-08-31 17:57:38

爬虫框架对比

爬虫框架对比构架技术优点缺点Github统计CrawlabGolang + Vue不限于Scrapy,可用于所有编程语言和框架。漂亮的UI界面。自然支持分布式蜘蛛。支持蜘蛛管理,任务管理,计划任务,结果导出,分析,通知,可配置蜘蛛,在线代码编辑器等。尚不支持蜘蛛版本控制Star:6.8kScrapydWebPython Flask + Vue漂亮的UI界面,内置的Scrapy日志解析器,用于执行任务的统计信息和图形,支持节点管理,cron作业,邮

2020-08-20 17:35:49

SpiderKeeper使用心得

慢慢更新1.添加egg 发现没有添加成功爬虫解决方式:观察后台scrapyd.log日志报的错误,一般是需要增加pip包2.在project 选项可以添加多个项目,你可以一个选择添加ip代理,一个不用ip代理。。。。...

2020-06-02 14:36:07

python RSA加密最新(RSA/ECB/PKCS1Padding)

遇到一个 java 的RSA/ECB/PKCS1Padding 加密 要改成python的网上搜一堆不靠谱的,没办法只能自己动手写一份了中间遇到一个ERROR: OverflowError: 458 bytes needed for message, but there is only space for 117遇到问题解决它上代码:import rsaimport base64from Crypto.PublicKey import RSAfrom Crypto.Cipher im

2020-06-02 12:12:47

保卫世界-002

想着每天做点什么,但是一天浑浑噩噩又过了最近的一个感觉就是做事的效率很低,一天做不了几件事。昨天:学习了一会逆向,晚上没直播就玩lol了。得想办法提高一下做事的效率,明确一下目标。明天一定要记起来记得继续写。...

2020-03-24 10:21:02

保卫世界-001

准备一边上班一边做副业做什么好呢目前能做的有两个方向:1.根据老本行,来接单2.投身自媒体行业,短视频得好好考虑考虑记录一下昨天干的事情:1.快速完成工作2.学习安卓逆向,但是没有好好学,中间跑神了,没拉回来3.看了一点 人性的弱点4.完了两个小时游戏2020-03-18...

2020-03-18 15:46:48

AndroidNDK开发之jni静态注册

AndroidNDK开发之jni静态注册JNI ------ Java Navite Interfacejni是一个协议,这个协议用来沟通Java代码和外部的本地代码(C/C++),通过这个协议,Java代码可以调用外部的C/C++代码,外部的C/C++代码也可以调用本地的Java代码。...

2020-01-15 17:36:42

微信聊天记录数据提取并分析

项目背景:公司有一部手机,这个手机专门用微信群拉客户的。手机里微信群聊天记录很多,想把这些聊天记录提取出来分析一下有用的信息。查找一下首先看一下有没有人之前做个这个项目,如果有的话就不用浪费时间开发了,果然找到一些从电脑上提取微信聊天记录。Python - 获取微信聊天记录(可以点击进入查看原作者文章)从手机上提取聊天记录。分别是在两个论坛上找到的两篇文章1.精益论坛2.安卓...

2019-12-17 17:30:38

java getBytes() 转 python bytearray()

java getBytes 转 python bytearrayJava 代码结果python结果Java 代码import java.io.*;import java.util.Arrays;public class Main { public static void main(String[] args){ String Str1 = "1576059389...

2019-12-11 18:57:43

服务器开启自启脚本、服务(亲测)

某次需要服务器重启一下,然后需要重新开启各种服务,然后就考虑将脚本和服务做成开机自启的。百度了很多,晚上说有三种方式。。。。。我只精确试了一种最简单的。就是直接在脚本/etc/rc.d/rc.local(和/etc/rc.local是同一个文件,软链)末尾添加自己的脚本然后,增加脚本执行权限chmod +x /etc/rc.d/rc.local实验一: 重启 redis (前...

2019-09-23 17:00:50

python 使用pymysql模块通过ssh隧道连接mysql(python、mysql、ssh)

参考链接今天做一个日志抓取的爬虫,然后碰到一个问题,我要在本地将数据存到线上BI数据库,但是这个线上数据库只能通过特殊的一台机器来连(这里称跳板机)而且是通过ssh这种方式。localhost----> 机器A ------->机器B怎么办呢?然后查了一下,查询了一个可以用的工具叫sshtunnel ,需要在你想要登录数据库的机器上安装。首先是安装:pip3 instal...

2019-09-04 18:19:10

修改一下pip install 下载的包然后再执行的步骤

之前安装了spiderkeeper ,用了一段时间后发现添加任务的api功能不好用,就想修改一下里面的逻辑,在这里记录一下步骤:1.先在github上下载下来你要的安装包(点击Downloda ZIP下载):2.然后在本地打开,并修改你不满意的代码。3.然后在终端代开该文件目录,输入:pip install .注意 最后有个点 ‘.’...

2019-08-02 18:49:13

selenium模拟登陆之截屏验证码位置跑偏

在用selenium做爬虫的模拟登陆时遇到验证码图片截取下来的和目标区域的图片不匹配截到的:目标是这样的:明显坐标写的不对,导致截屏区域不是验证码的区域。只能一步一步取修改坐标,来确定具体的图片位置。服务器上和测试环境的坐标有时候也不一样,也是需要重新再找一遍。...

2019-07-31 19:25:37

在sqlite中查看SpiderKeeper日志

今天遇到了一个数据延时的问题,想要查看spiderkeeper 的日志,找到spiderkeeper文件夹下的SpiderKeeper.db文件,用navicate打开发现报错。The database disk image is malformed然后百度找到一个大佬的解决方案:sqlite关于The database disk image is malformed问题的解决顺利解决,...

2019-06-10 21:35:05

python 字典转字符串 中文编码问题

python 字典转字符串 中文编码问题字典转字符串json.dumps()中文编码问题:json.dumps(huoshan_dict["filter_words"], ensure_ascii=False)

2019-05-29 17:31:11

python对utf-8的中文转换

str = '\\u6765\\u6e90:\\u82f1\\u5b5a\\u6559\\u80b2'str1 = str.encode('utf-8').decode('unicode_escape')print(str1)

2019-05-29 17:14:25

Python进阶之Scrapy的暂停与重启

我在极光代理网站看到的这一篇-----》链接Scrapy的每一个爬虫,暂停时能够记录暂停状态和爬取的URL,重启时能从暂停状态开始爬取过的URL不在爬取怎么实现暂停与重启记录状态措施一:1、第一步cd进入到scrapy项目里2、在scrapy项目中新建存储记录信息的文件夹3、执行命令:scrapy crawl 爬虫名称 -s JOBDIR=保存记录信息的路径如:scrapy cr...

2019-05-28 22:08:33

三级联动mysql

https://blog.csdn.net/jielounlee/article/details/85325345

2019-04-16 20:22:49

cd /mnt/hgfs/Fiddler\ Sessions/

cd /mnt/hgfs/Fiddler\ Sessions/建立一个软连接

2018-12-29 17:56:01

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。