- 博客(188)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 去水印操作（原来他是这么去的啊，做运营这么久，我终于被惊到了）
刚找到一个去水印网站，非常简洁，是我欣赏的风格。点进去看了之后，找到我要的去水印的页面，然后我就把我的去水印链接复制到上面，试了试，真的可以哎而我经常在几个视频平台搬运视频，去水印找了好几个都不好用，这下子终于有个好用的了。...
2020-10-21 11:42:15
553
原创 selenium+chromedriver 本地使用和服务器使用
selenium+chromedriver 本地使用和服务器使用服务器使用：首先需要安装 google-chrome 官网下载-进入再点击其他平台64 位 .deb（适用于 Debian/Ubuntu）64 位 .rpm（适用于 Fedora/openSUSE）然后使用 google-chrome --version 查看 版本下载对应chromedriver 版本 下载链接1 下载链接2网速慢的 试试翻墙运行代码测试本地使用：先在本读Google 浏览器查看版本下载对应版
2020-09-25 18:02:58
679
2
原创 ocr识别-总结python图片操作
本周使用了百度的OCR图片识别服务，遇到了一些问题，这里总结一下。其中api中说明识别限制：1.图片 分辨率不高于4096*40962.图片 base64编码后小于4M超过后，需要重新上传针对这两个要求做一下图片处理，主要使用python的PIL包思路主要是：超过限制的就缩小图片分辨率1.图片 分辨率不高于4096*4096from PIL import Image#等比例缩小def process_image(filename, mwidth=4000, mheight=400
2020-08-31 17:57:38
723
原创 爬虫框架对比（附 支持的数据库）
爬虫框架对比构架技术优点缺点Github统计CrawlabGolang + Vue不限于Scrapy，可用于所有编程语言和框架。漂亮的UI界面。自然支持分布式蜘蛛。支持蜘蛛管理，任务管理，计划任务，结果导出，分析，通知，可配置蜘蛛，在线代码编辑器等。尚不支持蜘蛛版本控制Star:6.8kScrapydWebPython Flask + Vue漂亮的UI界面，内置的Scrapy日志解析器，用于执行任务的统计信息和图形，支持节点管理，cron作业，邮
2020-08-20 17:35:49
491
原创 SpiderKeeper使用心得
慢慢更新1.添加egg 发现没有添加成功爬虫解决方式：观察后台scrapyd.log日志报的错误，一般是需要增加pip包2.在project 选项可以添加多个项目，你可以一个选择添加ip代理，一个不用ip代理。。。。...
2020-06-02 14:36:07
627
9
原创 python RSA加密最新(RSA/ECB/PKCS1Padding)
遇到一个 java 的RSA/ECB/PKCS1Padding 加密 要改成python的网上搜一堆不靠谱的，没办法只能自己动手写一份了中间遇到一个ERROR： OverflowError: 458 bytes needed for message, but there is only space for 117遇到问题解决它上代码：import rsaimport base64from Crypto.PublicKey import RSAfrom Crypto.Cipher im
2020-06-02 12:12:47
7245
5
原创 AndroidNDK开发之jni静态注册
AndroidNDK开发之jni静态注册JNI ------ Java Navite Interfacejni是一个协议，这个协议用来沟通Java代码和外部的本地代码（C/C++），通过这个协议，Java代码可以调用外部的C/C++代码，外部的C/C++代码也可以调用本地的Java代码。...
2020-01-15 17:36:42
296
原创 微信聊天记录数据提取并分析
项目背景：公司有一部手机，这个手机专门用微信群拉客户的。手机里微信群聊天记录很多，想把这些聊天记录提取出来分析一下有用的信息。查找一下首先看一下有没有人之前做个这个项目，如果有的话就不用浪费时间开发了，果然找到一些从电脑上提取微信聊天记录。Python - 获取微信聊天记录（可以点击进入查看原作者文章）从手机上提取聊天记录。分别是在两个论坛上找到的两篇文章1.精益论坛2.安卓...
2019-12-17 17:30:38
24345
6
原创 java getBytes() 转 python bytearray()
java getBytes 转 python bytearrayJava 代码结果python结果Java 代码import java.io.*;import java.util.Arrays;public class Main { public static void main(String[] args){ String Str1 = "1576059389...
2019-12-11 18:57:43
4171
2
原创 服务器开启自启脚本、服务（亲测）
某次需要服务器重启一下，然后需要重新开启各种服务，然后就考虑将脚本和服务做成开机自启的。百度了很多，晚上说有三种方式。。。。。我只精确试了一种最简单的。就是直接在脚本/etc/rc.d/rc.local(和/etc/rc.local是同一个文件，软链)末尾添加自己的脚本然后，增加脚本执行权限chmod +x /etc/rc.d/rc.local实验一： 重启 redis （前...
2019-09-23 17:14:24
1410
原创 python 使用pymysql模块通过ssh隧道连接mysql(python、mysql、ssh)
参考链接今天做一个日志抓取的爬虫，然后碰到一个问题，我要在本地将数据存到线上BI数据库，但是这个线上数据库只能通过特殊的一台机器来连（这里称跳板机）而且是通过ssh这种方式。localhost----> 机器A ------->机器B怎么办呢？然后查了一下，查询了一个可以用的工具叫sshtunnel ，需要在你想要登录数据库的机器上安装。首先是安装：pip3 instal...
2019-09-04 19:01:36
3078
1
原创 修改一下pip install 下载的包然后再执行的步骤
之前安装了spiderkeeper ，用了一段时间后发现添加任务的api功能不好用，就想修改一下里面的逻辑，在这里记录一下步骤：1.先在github上下载下来你要的安装包（点击Downloda ZIP下载）：2.然后在本地打开，并修改你不满意的代码。3.然后在终端代开该文件目录，输入：pip install .注意 最后有个点 ‘.’...
2019-08-02 18:49:13
1590
原创 selenium模拟登陆之截屏验证码位置跑偏
在用selenium做爬虫的模拟登陆时遇到验证码图片截取下来的和目标区域的图片不匹配截到的：目标是这样的：明显坐标写的不对，导致截屏区域不是验证码的区域。只能一步一步取修改坐标，来确定具体的图片位置。服务器上和测试环境的坐标有时候也不一样，也是需要重新再找一遍。...
2019-07-31 19:25:37
1358
3
原创 在sqlite中查看SpiderKeeper日志
今天遇到了一个数据延时的问题，想要查看spiderkeeper 的日志，找到spiderkeeper文件夹下的SpiderKeeper.db文件，用navicate打开发现报错。The database disk image is malformed然后百度找到一个大佬的解决方案：sqlite关于The database disk image is malformed问题的解决顺利解决，...
2019-06-10 21:35:05
450
原创 python 字典转字符串 中文编码问题
python 字典转字符串 中文编码问题字典转字符串json.dumps()中文编码问题：json.dumps(huoshan_dict["filter_words"], ensure_ascii=False)
2019-05-29 17:31:11
4396
原创 python对utf-8的中文转换
str = '\\u6765\\u6e90:\\u82f1\\u5b5a\\u6559\\u80b2'str1 = str.encode('utf-8').decode('unicode_escape')print(str1)
2019-05-29 17:14:25
18137
转载 Python进阶之Scrapy的暂停与重启
我在极光代理网站看到的这一篇-----》链接Scrapy的每一个爬虫，暂停时能够记录暂停状态和爬取的URL，重启时能从暂停状态开始爬取过的URL不在爬取怎么实现暂停与重启记录状态措施一：1、第一步cd进入到scrapy项目里2、在scrapy项目中新建存储记录信息的文件夹3、执行命令：scrapy crawl 爬虫名称 -s JOBDIR=保存记录信息的路径如：scrapy cr...
2019-05-28 22:08:33
1419
原创 Fiddler自动保存监听的请求
Fiddler自动保存监听的请求 仅仅在Fiddler中设置一下就行。2018/12/28 亲测可用Fiddler 下 Rules------>Customize Rules----->修改request 和 response 中的代码。//过滤无关请求，只关注特定请求 if (oSession.fullUrl.Contains("域名")) { va...
2018-12-28 22:10:19
516
原创 selenium+Phantomjs安装（ubuntu）
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。Selenium 自己不...
2018-12-22 15:30:37
624
原创 安装Redis（ubuntu）
下载：打开redis官方网站，推荐下载稳定版本解压redis压缩包tar zxvf redis-3.2.5.tar.gz复制：推荐放到usr/local目录下 sudo mkdir /usr/local/redis sudo mv redis-3.2.5/* /usr/local/redis/进入redis目录 cd /usr/local/redis/生成sudo m...
2018-12-18 23:38:13
186
原创 安装mongoDB(ubuntu环境下)
重新在 新电脑上安装一下mongodb，顺便记录一下步骤：1.安装到官网，选择合适的版本下载，两点注意根据业界规则，偶数为稳定版，如1.6.X，奇数为开发版，如1.7.X32bit的mongodb最大只能存放2G的数据，64bit就没有限制解压：tar -zxvf mongodb-linux-x86_64-ubuntu1604-3.4.0.tgz移动到/usr/local/目录下s...
2018-12-08 10:40:47
376
原创 虚拟环境下安装scrapy
最新换了台电脑，需要重新配置一下新的环境，下面记录一下scrapy的安装流程官方api安装教程1.先卸载之前的错误安装pip uninstall scrapypip uninstall twisted2.按照官方步骤安装依赖（最好是安装一下）sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev ...
2018-12-07 09:48:02
736
原创 ubuntu 下安装chrome浏览器
1、将google-chrome-stable_current_amd64软件复制移动到家目录下2、打开终端，路径在家目录下3、依次运行下面三条命令sudo apt-get install google-chrome-stable sudo apt-get -f install sudo dpkg -i google-chrome-stable_current_amd64.deb4、...
2018-12-02 23:23:37
814
原创 Python中遍历pandas数据的几种方法介绍及效率对比
点击原文Pandas是python的一个数据分析包，提供了大量的快速便捷处理数据的函数和方法。对pandas数据遍历的几种方法：1.for…in循环迭代方式2.iterrows()生成器方式3.apply()方法循环方式4.Pandas series 的矢量化方式5.Numpy arrays的矢量化方式总结使用timeit方法对以上几种遍历方式进行执行时间测试，测试结果如下。可...
2018-11-20 23:31:11
6526
原创 递归和尾递归优化
递归递归简而言之就是自己调用自己。使用递归解决问题的核心就是分析出递归的模型，看这个问题能拆分出和自己类似的问题并且有一个递归出口。比如最简单的就5的阶乘，可以把它拆分成5*4!，然后求4!又可以调用自己，这种问题显然可以用递归解决，递归的出口就是求1！，可以直接返回1。用Python实现如下： def fact(n): if n==1: return n ...
2018-11-16 20:18:52
485
原创 ImportError: cannot import name BeautifulSoup（点这里就对了）
做爬虫实例的时候用到了bs4 ，正确安装好了，代码里也有from bs4 import BeautifulSoup但是还报错 出现的提示是： ImportError: cannot import name BeautifulSoup，想了半天还是不知道怎么解决这个问题就百度了一下。看了第一篇就解决了这个问题方法：搜索路径的问题，用sys.path查看搜索路径，包含bs4库的路径。...
2018-11-12 12:00:54
16824
2
原创 Selenium support for PhantomJS has been deprecated, please use headless
UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox insteadwarnings.warn('Selenium support for PhantomJS has been deprecated, please use...
2018-11-09 19:32:45
2586
原创 Linux 移动文件后创建软连接
创建软连接sudo ln -sf a b 解释： a ----> b a指向 b我是在安装phantomjs时看到的 自己记下来再加深一下印象chromedirver下载地址:https://npm.taobao.org/mirrors/chromedriverphantomjs下载地址:http://phantomjs....
2018-11-09 19:14:06
1117
原创 python中json文件处理涉及的四个函数json.dumps()和json.loads()、json.dump()和json.load()的区分
json.loads()和 json.dumps()作用是相反的字符串------------>字典 json.loads()字典------------>字符串 json.dumps()json.load()和 json.dump()作用也是相反的json信息------------>写入文件 json.dump()从文件-...
2018-11-06 22:39:36
1511
原创 python 字典生成式 （多种实例测试，一看就懂）
字典生成式d = {key: value for (key, value) in iterable}其中iterable是一个可迭代的对象，比如list例1：# for 循环遍历列表，将列表中小元组的key和value取出，作为字典中的key：valuelist4 = [('name','zhangsan'),('age','11'),('phone','a')]dict_1 =...
2018-11-05 22:47:31
4444
原创 mysql 1064 和1136
1064一般是自己的sql 语句有错误，我的就是增加语句出错了插入数据失败，原因 1064: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ''movie_name, mov...
2018-11-05 19:53:08
623
原创 为什么按着左右键一直到边缘不换行了?
为什么按着左右键一直到边缘不换行了?平时都是在键盘上按着左键或者右键光标会一直移动并且还能换行，今天不知道咋地就不能换行了，搜索百度也没有好的答案然后自己将那个代码页面关闭，在别的代码里试试，发现没问题，但是就是那一个页面发神经了，只能关掉，再打开试试...
2018-11-02 19:51:25
484
原创 Python 面试题
准备一下python 面试题0.pythonPython垃圾回收机制先问迭代器、装饰器、生成器，协程，协程在项目里怎么用的（重点）列表 元组python2和python3的区别rest framework接口规范range函数多线程 多进程位运算符Python的数据类型python多线程与其他语言多线程的区别python中的字典多线程和协程两者之间的关系？多线程在多...
2018-11-01 10:10:15
3654
2
原创 爬虫
1.User-Agent1.第一种反反爬伪装 正常的浏览器 使用 正常浏览器的的User-Agent如果想完整模拟就将头部全部复制下来2.requests 发送get请求 wd = input("关键词>") url = "https://www.baidu.com/s?wd=%s"%wd #响应头 h
2018-10-31 22:03:18
244
ubuntu16.04安装chrome浏览器(附安装步骤)
2018-08-30
网络调试助手
2018-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人