- 博客(414)
- 收藏
- 关注
RSS订阅原创 Python根据语音识别让无字幕视频自动生成字幕！强不强？
前言本文将使用pytorch框架的目标识别技术实现滑块验证码的破解。我们这里选择了yolov5算法例：输入图像输出图像可以看到经过检测之后，我们能很准确的定位到缺口的位置，并且能得到缺口的坐标，这样一来我们就能很轻松的实现滑动验证码的破解。一.前期工作yolov系列是常用的目标检测算法，yolov5不仅配置简单，而且在速度上也有不小的提升，我们很容易就能训练我们自己的数据集。YOLOV5 Pytorch版本GIthub网址感谢这位作者的代码。下载之后，是这样的格式---d...
2021-02-25 15:38:57
1089
1
原创 Python简单实现爬取快递物流实时信息！到了及时提醒！
爬取思路：前两天有网友让我帮忙做一个通过快递100这个网站查快递物流信息的爬虫。研究了一下，发现实现起来不是很复杂，在此整理成文档并share给大家。爬取思路：输入运单号后从服务器获取快递公司对应的ID号，然后拼接出新的请求地址来获取相关信息。代码分解：class KuaiDi100(): def __init__(self): self.comCode = "" self.temp = "" self.url = r"https://
2021-02-25 14:48:27
1175
转载 2021最新python爬取12306列车信息自动抢票并自动识别验证码
好久不见，各位小伙伴们！嗐，春节真滴快啊！祝大家新年快乐！书山有路勤为径，学海无涯苦作舟！又得开始愉快滴学习了！小夜斗今天给大家伙分享一期干货，芜湖起飞！JS逆向网易云爬取评论并利用snownpl进行情感分析一：逆向破解网易云参数抓取评论信息网易云PC端url: https://music.163.com/#/song?id=1817702136要抓取滴评论如下图所示:老规矩，检查网页元素，找到评论信息所在的请求网址!从xhr里面找一下子就能找到，看下面截图:如果直接请
2021-02-24 14:19:02
4772
4
转载 利用Python在互动吧网站自动抢票实战分析！你学废了吗
然后今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。具体要爬的网址是：https://movie.douban.com/cinema/later/shenzhen/除了要爬入口页以外还需爬取每个电影的详情页，具体要爬取的结构信息如下：爬取测试下面我演示使用xpath解析数据。入口页数据读取：import requestsfrom lxml import etreeimport p
2021-02-23 15:05:52
326
原创 很多网站都是用得滑块验证码！Python搞定99%的网站！
普通滑动验证码验证只需要我们将滑块拖动指定位置，处理起来比较简单。拖动之前需要先将滚动条滚动到指定元素位置,但是需要注意目标网站对selenium的反爬,如window.navigator.webdriver识别;滑块移动速度识别等;带缺口(拼图)滑动验证码这一类验证码可以使用两种方式识别:①在目标网站带有完整背景图时,可以获取完整背景图与带缺口的图片进行比较,获取缺口的位置,计算距离,拖动滑块移动至缺口即可;②尝试先用cv2的边缘检测识别出边界，然后进行模糊匹配，匹配出拼图在验证码图片的位
2021-02-23 13:53:49
782
原创 python爬取分析超级大乐透历史开奖数据！你中奖了吗？
爬取网站：http://datachart.500.com/dlt/history/history.shtml —500彩票网 （分析后发现网站源代码并非是通过页面跳转来查找不同的数据，故可通过F12查找network栏找到真正储存所有历史开奖结果的网页）如图：爬虫部分：from bs4 import BeautifulSoup #引用BeautifulSoup库import requests #引用requestsimport os
2021-02-23 13:24:55
2261
转载 办公脚本——基于python自动导出疫情通每日打卡数据
第一步 标定坐标import pyautoguiimport time# 自动防故障功能pyautogui.FAILSAFE =False# 停顿功能pyautogui.PAUSE = 2# 屏幕总参数获取width,height = pyautogui.size()print(width,height) # 1366 768# 屏幕位置获取time.sleep(2)print(pyautogui.position()) # 得到当前鼠标位置"""位置参数：总人
2021-02-22 14:07:51
312
转载 JS逆向案例，破解加密JSON字符串数据！真的强！
之前，我们介绍了两种基础的JS逆向案例。今天，就继续来分享一个稍微复杂的JS逆向案例吧~爬取网址：企业科技，本次爬取仅供学习，无任何商业用途一、寻找加密源码进入网站后，利用Chrome浏览器进行抓包，结果如下从上图可知，我们需要的数据encypt_data被加密成一长串字符。按照JS逆向的一般套路，首先，我们来搜索一下encypt_data参数，基本步骤如下通过比对搜索出的6个encypt_data参数，最终定位到10790行的encypt_data，在此数打下断点，刷.
2021-02-22 13:58:05
4423
原创 Python爬取链家北京租房信息！北京租房都租不起啊！
一、效果图二、代码import refrom fake_useragent import UserAgentfrom lxml import etreeimport asyncioimport aiohttpimport pandas as pd # 定义一个类 定义使用的变量 定义get方法通过连接池进行网络请求class LianjiaSpider(object): def __init__(self): self.ua = User...
2021-02-21 14:54:30
364
转载 网络爬虫爬取b站励志弹幕并生成词云(精心笔记总结)！
1.下载并安装Python文件。 由于我们的代码是基于Python执行的。 因此，我们需要两件东西： 一种Python本身，一种pycharm，只需要这两种!!! 网络上有许多教程，这里不再多说。 2.系统环境和模块配置 在安装了Python之后，进入我的另一个blog，按照前面3个步骤来配置环境。 实现淘宝穗的Python。 3.JD.COM.RobbeSpack密码。 小心!! ②复制代码到pycharm中来执行。 b注意上次修改代码的时间。 ③Firefox浏览器需要安装。 D.登录JD.COM扫描码
2021-02-20 14:10:42
556
1
转载 过年你被催婚了吗？爬取相亲网站，看看当下年轻小姐姐的择偶观
=到了一定年龄，父母可能会催你找女朋友，结婚。 大多数的父母催婚，是父母渐渐老了，想让你找个人照顾你，有热饭吃，生病了有人照顾。在外面不被人欺负。 当然，也有一部分来自周围人的压力，跟你同龄的孩子差不多都结婚了，你父母的压力自然就来了。跟父母给孩子报课外辅导班的心理一样。 很多时候让你成家立业，在父母看来，帮你完成成家的任务，父母的一大任务算是完成了。不然单身的男女每个家，在父母心里始终是个心结，这种心情，小城镇特别的突出。 父母帮你完成了结婚的任务，不需要像以前那样辛辛苦苦奔波赚钱了。 催婚，第一，是
2021-02-18 13:49:47
2584
转载 用Python分析一下疫情的数据加可视化界面！
近年来，国内的电信诈骗案件呈愈演愈烈之势，本文以某省电信公司简化版本的防诈骗模型为案例，利用python机器学习工具，使用随机森林算法，从数据处理、特征工程、到反诈骗模型的模型的构建及评估等完整流程进行一个简单的记录和介绍。流程图环境设置、模块加载# coding: utf-8import osimport numpy as npimport pandas as pdfrom sklearn.ensemble import IsolationForestfrom sklearn.mo
2021-01-23 14:45:32
1017
1
转载 python识别二维码条形码？用pyzbar一招搞掂(含代码)！
写了这么多年爬虫了，经常还是会撞上反爬机制。虽然大多数时候都能解决，但是毕竟反爬机制多种多样，有时候遇到一个许久不见的反爬机制，也会感到手生，一时想不上来应对方法，而浪费不少时间。最近写了不少爬虫，接下来一段时间又不写了，趁着手还比较熟，记录一下备忘，方便大家也方便自己。之前写过一篇常用的反爬虫封禁手段概览, 但是主要是从反爬的角度来的，这篇主要从写爬虫的角度来说说。开章明义，当遇到反爬机制时，想要做到把数据爬下来，无非四个方法： 加代理 降速度 破解接口 多注册
2021-01-18 15:14:44
2812
2
原创 Python实现淘宝秒杀!学会了省太多钱了！
什么是正则表达式？正则表达式（Regular Expression）通常被用来检索、替换那些符合某个模式(规则)的文本。此处的Regular即是规则、规律的意思，Regular Expression即“描述某种规则的表达式”之意。本文收集了一些常见的正则表达式用法，方便大家查询取用，并在最后附了详细的正则表达式语法手册。案例包括：「邮箱、身份证号、手机号码、固定电话、域名、IP地址、日期、邮编、密码、中文字符、数字、字符串」Python如何支持正则？我用的是python来实现正则..
2021-01-14 14:02:47
395
原创 Python分析抖音用户行为数据，看看发什么样的视频才会爆！
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。Python分析抖音用户行为数据视频讲解地址https://www.bilibili.com/video/BV1yp4y1q7ZC/复制代码随着短视频的APP兴起，在短视频社交市场，抖音短视频异常火爆表现突出，希望通过本次的分析，给到用户发布视频的几点建议。数据分析1 平台日播放量，日用户量，日作者量，日作品量日播放量，日用户量，日作者量，日作品量随时间..
2021-01-14 13:55:10
1077
1
原创 手把手教你用Python爬取存储数据，还能自动在Excel中可视化
大家好，我们来探讨如何爬取虎扑NBA官网数据，并且将数据写入Excel中同时自动生成折线图，主要有以下几个步骤：本文将分以下两个部分进行分别讲解：在虎扑NBA官网球员页面中进行爬虫，获取球员数据。清洗整理爬取的球员数据，对其进行可视化。项目主要涉及的Python模块：requestspandasbs4爬虫部分爬虫部分整理思路如下观察URL1的源代码找到球队名称与对应URL2观察URL2的源代码找到球员对应的URL3观察URL3源代码找到对应球员...
2021-01-14 13:34:09
959
转载 别再问我Python打包成exe了！（终极版）
Py程序打包成exe文件很多同学都会，但是很多人打包完发现： 一个简单的Py程序打包成exe文件之后编程几百兆了 ，今天将带大家学习 如何将python脚本打包成10多M的？那今天小五就给大家全面总结一下：Python如何打包成exe，以及如何打得足够小。一、标准打包目前比较常见的打包exe方法都是通过 Pyinstaller 来实现的，本文也将使用这种常规方法。如果对这块已经很熟悉的小伙伴，可以直接下滑到本文下半部分。1、为什么要打包？众所周知，Python脚本不能在没有安装Pytho
2021-01-14 13:30:54
750
1
转载 小姨想开水果店，那我用Django做一个天天生鲜项目！
注册基本逻辑显示注册页面1，放入templates模板文件中， 2，修改user,vews.py, 3，修改项目应用user的urls.py 4，在html导入静态资源,进行注册处理1，修改提交地址，定义register_handle函数，添加url到user的urls.py中 2，接收数据#接收数据 username = request.POST.get(’user_name‘) password = request.POST.get('pwd) email = request
2021-01-13 14:55:45
2649
1
转载 用python做youtube自动化下载器！附完整代码！
最近偶然看到了腾讯的大数据星云图，非常漂亮，如下图：这些数据代表使用腾讯定位服务的用户实际地理位置，例如微信、QQ、腾讯地图等，所以使用量还是表达的，此图可以间接显示人流量情况该网站还可以查看区域热力图：但是只有个别区域于是我萌生一个想法，用python任意区域人员流量图经过不懈努力，没想到还真给实现了，下面带大家一起学习一下这一过程：一、首先是数据获取数据获取腾讯其实开放了数据接口，但是只能商用：但是不用怕，我们还有其他办法获取进入主页：https:/.
2021-01-12 16:44:17
1363
转载 两百行Python代码带你打造一款《天天酷跑》游戏!思路清晰，通俗易懂！
最近一段时间，小编发现已经好久没有给大家带来趣味游戏的案例展示了。刚好小编趁着周末写了一个《天天酷跑》的游戏，因此拿来跟大家一起分享，和大家一起来重温经典的酷跑游戏。准备开发环境俗话说，“工欲善其事，必先利其器”，我们先来介绍一下本次我们用到的库有哪些。(需要注意的是，由于很多的小伙伴都会反映很多库安装之后，会出现报错，找不到相应的模块)，这是因为库版本的不同，所以跟大家详细的介绍一下程序所使用的各个环节及其对应的版本，这次我们使用的工具和其版本号如下所示：PyCharm：2019.1.3.
2021-01-12 14:36:31
1996
转载 Python统计微信消费！生成微信消费账单！真强大！
First of all通过观察，我发现我的微信消费类型大约有3种：1.通过扫描商家二维码支付2.直接进行商户消费3.发红包给舍友让他们帮我带饭接下来，我要统计具体的消费明细一、准备工作首先，需要在微信上导出消费账单。然后把没用的信息删掉。像这样下面安装库pip install xlrdpip install xlwt第一个库是读取xls文件，第二个是写入xls文件(第一个库支持xlsx，第二个不支持)二、开始写代码1.引入库代码如下（示例）：
2021-01-12 14:18:33
1554
转载 python自动化办公之爬取目录样式写入word文档实战！
看见朋友每天重复地从网页里把目录复制粘贴到word里，觉得很不智能。于是想到用Python的自动化办公功能，来解救他！比如，下面这个图就是HTML里的内容，我要把它提取出来写入到word里面，还要带上这本书的标题，给word命名。写好了就可以批量处理！！！是不是很妙o(￣︶￣)o还好朋友会用一个sitemapX工具，把网页中的目标路径都写入到一个txt文件中。调用的库：import timeimport reimport urllib.requestimport osimport pypand
2021-01-12 13:34:42
206
原创 用python60行代码写一个简单的笔趣阁爬虫！三分一章？
想要回家的小伙伴们，大概经历了一波抢票大战。顺便把一个 Python抢票工具 ，送到了GitHub趋势榜第一。项目名很干脆，就是 12306 ，来自名叫 文贤平 的程序员。这很可能是全GitHub最德高望重的购票小助手了，功能一直在更新，且现已支持 Python 3.6 以上版本。有些后起之秀，也是在它的基础上开发出来，然后广受欢迎。标星5k的 py12306 便是其中之一，它支持分布式抢票。热榜第一的抢票神器文贤平/文先森 (testerSuns...
2021-01-11 15:05:37
2308
原创 40行手动实现车牌检测(python+opencv)！很简单
效果先来看下效果检测结果：思路 原图转灰度图 对灰度图进行高斯滤波、中值滤波去噪 使用sobel算子计算梯度(即提取边缘），这里考虑到车牌上字都是瘦长的，所以我这里只用了水平梯度，这样可以避免环境的干扰 对梯度图进行高斯滤波去除细节 转二值图 腐蚀1次，膨胀10次，来使车牌整体连接成一个白色色块 寻找围成面积最大的轮廓，进行方向校正，最后画出 代码import cv2 ...
2021-01-11 14:31:35
156
转载 5 个无聊 Python 程序，用 Python 整蛊你的朋友们吧
下程序，不要发代码，要不实现不了你整蛊的目的。要打包成一个 exe 程序，发给朋友才有意思。使用 pip install pyinstaller。打包命令如下：pyinstaller -F 文件名.py过程中如果出现 BUG（一般是编码错误），点击导航查看解决方案无聊程序之一while True: n = input("猜猜我在想啥？") print("猜错喽")你的朋友将永远无法知道你在想什么。当然我安装 360 之后，程序没了。有兴趣研究免杀的，可以在给本文点
2021-01-11 13:42:07
214
1
原创 Python爬虫 | 以滑雪为例演示大众点评商铺信息采集！
1.简述 2.字体反爬处理 2.1.获取字体文件链接 2.2.创建三类字体与实际字符映射关系 3.单页店铺信息解析 4.全部页数据获取 4.1.获取数据页数 4.2.采集全部数据 5.总结 冬天是一个适合滑雪的季节，但是滑雪需谨慎，比如初学者就不要上高级道，能不能滑心里要有点哔数。那么今天，咱们就以滑雪为关键字，演示一下如何用Python爬虫采集大众点评的商铺信息吧。在搜索结果以 翻页 的形式通过 request..
2021-01-08 15:43:06
2408
转载 爬取央视网节目单栏目信息！
1、数据爬取使用工具介绍使用了python的自动化框架selenium进行动态爬取，Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。 主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。 测试系统功能——创建回归测试检验软件功能和用户需
2021-01-08 15:02:22
1190
原创 Python爬虫自动化，帮小姐姐解放双手！
1. 什么是数据不平衡所谓的数据不平衡（imbalanced data）是指数据集中各个类别的数量分布不均衡；不平衡数据在现实任务中十分的常见。如 信用卡欺诈数据：99%都是正常的数据， 1%是欺诈数据 贷款逾期数据 不平衡数据一般是由于数据产生的原因导致的，类别少的样本通常是发生的频率低，需要很长的周期进行采集。在机器学习任务（如分类问题)中，不平衡数据会导致训练的模型预测的结果会偏向于样本数量多的类别，这个时候除了要选择合适的评估指标外，想要提升模型的性能，就要对数据和模型做
2021-01-07 15:45:52
353
原创 利用Python每天早上定时给女神微信发送慰问，终于打动了！
微信开发已经活跃了很长时间了，在微信开发中有一个神奇的接口它叫模板消息接口，它可以根据用户的openid从服务端给用户推送自定义的模板消息，正因如此，我们可以利用这个特征在服务器端随时向用户推送消息（前提是该用户关注了该公众号）。总结出3点 1.模板消息的格式可以自定义， 2.模板消息的内容可以自定义， 3.模板消息发送的时间可以自定义。那么我们可以利用这些性质为自己做一款说早安的程序啦！实验环境阿里云Linux服务器 Python环境爱词霸每日一句API介绍调用地址：http://
2021-01-07 14:57:44
195
1
原创 B站2020年每周必看热门视频数据盘点！Python数据分析
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有，如有问题请及时联系我们以作处理作者：松鼠爱吃饼干原文链接：https://blog.csdn.net/m0_48405781/article/details/111914673随着短视频的APP兴起，在短视频社交市场，抖音短视频异常火爆表现突出，希望通过本次的分析，给到用户发布视频的几点建议。数据分析1 平台日播放量，日用户量，日作者量，日作品量日播放量，日用...
2021-01-06 15:43:57
1056
5
原创 使用Python+PyTorch预测野外火灾！
联合国在实现其可持续发展目标方面面临的主要障碍之一是与自然灾害作斗争，而造成巨大破坏的首要障碍是野外火灾。作为一名数据科学家，我真的希望为社会带来积极的变化。在读到最近在美国科罗拉多州和澳大利亚各地发生的野外火灾之后，我开始想知道是否有一种方法可以利用我的技能提前预测这些灾难，以便采取一些保护措施。我在Kaggle上找到了这个数据集，它包含了美国188万场野外火灾，我开始使用PyTorch Lightning建立一个模型。继续阅读，看看我是如何使用这个数据集建立一个可以预测野外火灾强度的模型的。
2021-01-06 15:22:42
1370
1
原创 用Python爬取QQ空间说说和相册！还不让我访问！
QQ 空间在 2005 年被腾讯开发，已经经历了 15 个年头，在还没有微信的年代，看网友发表的心情、心事、照片大多都在 QQ 空间的里。它承载了80、90 后的大量青春，下面我们一起用 selenium 模块导出说说和相册回忆青春吧安装 selenium selenium 是一个在浏览器中运行，以模拟用户操作浏览器的方式获取网页源码，使用 pip 安装 selenium 模块 pip install selenium 复制代码 查看 chrome 浏览器版本并下载 对应的 chrome 浏览器驱动
2021-01-06 14:58:34
1989
原创 逆向爬虫时，Python 如何正确调用 JAR 加密逻辑？
1. 前言在 App 端爬虫过程中，遇到未知的参数，往往需要我们去逆向破解 App，针对参数的生成逻辑，使用 Python 去实现部分 App 参数的生成逻辑可能已经写入到多个 JAR 文件中，这时候，我们只需要用 Python 执行 JAR 即可本篇文章将聊聊 Python 如何调用 JAR 中的方法2. 合并 JAR以 Android App 为例，假设加密参数生成逻辑在多个 JAR 中，我们首先需要将所有的 JAR 文件合并为一个 JAR 文件PS：对于 AAR 文件，可以先通
2021-01-05 16:26:39
122
原创 这篇文章教你开发一个Python桌面应用程序！
IronPython和最新的Visual Studio 2019使这一切成为可能，它们使Python桌面应用程序可以与WinForms控件一起使用。 更重要的是， Telerik UI For WinForms 套件拥有现成的一些功能来帮助您实现想要的功能！Iron PythonIronPython是Python强大的开源版本，它是在Microsoft .NET框架上运行的Python编程语言的改编，IronPython可以使用.NET Framework和Python库，而其他.NET语言也可以轻
2021-01-05 15:50:01
2607
原创 Python爬取淘宝销量数据！这年头数据就是钱啊！
源代码： #--coding:utf-8--from PySide2.QtWidgets import QApplication, QMainWindow, QPushButton, QPlainTextEdit, QMessageBox import time import os import shutil import globclass tidy(): def init(self):self.window = QMainWindow() self.window....
2021-01-04 14:28:43
1491
2
原创 Python+selenium破解极验滑块验证码模拟人类行为
写在前面：其实本程序还有很多需要完善和改进的地方，后面会进行完善，大家多多包涵概述 通过完整图片与缺失滑块的图片进行像素对比，确定滑块位置 边缘检测算法，确定位置 规避检测，模拟人的行为进行滑动滑块 实现-这里以带刷网为例，展示验证码滑动的效果#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2021/1/2 18:34# @Author : huni# @File : 验证码2.
2021-01-04 14:06:05
537
转载 爬取冰冰B站千条评论，看看大家说了什么！
数据分析import pandas as pddata = pd.read_excel(r"bingbing.xlsx")data.head() 用户 性别 等级 评论 点赞 数据预处理数据描述data.describe() 等级 点赞 删除空值data.dropna(...
2021-01-04 13:37:08
499
转载 用Python写一个植物大战僵尸！ 简直一模一样！
学校现在需要实现一个电子考勤系统，考虑到你们班已经学过大数据应用开发语言Python，准备让你们实现部分学生端考勤功能。经过和老师的沟通，你了解到： （1） 目前该系统已经被学长实现了部分功能，你们只需要完成剩余功能即可，需要你们完成的功能会使用 #todo的形式进行标注， todo后面会列出这个地方的功能，形式如下。（2） 学生信息存储在stu_infos.csv文件中，第一行是列名行，后面每一行都是一个学生的信息，包含学号，姓名，密码。内容形式如下：（3） 考勤记录最终...
2020-12-28 14:29:52
615
2
原创 基于python的学生信息管理系统！听说好多人的作业都是这个
易班web自动化打卡脚本一直以来，易班打卡被称为最鸡肋，最浪费时间，最浪费纳税人钱财的表面工程，那么如何解决这一问题，已成为现在高校大学生的急需思考的大问题。那这一次我就来谈谈我是怎么解决这一问题的。分析众所周知，学生虽然使用较多的是易班APP，但是，善良的易班还做了网页端。刚好前不久我学习了一点儿web自动化技术，正好拿来练练手。 先来看看易班的登录界面，它使用了验证码，然而，图形验证码就是专门克制机器操作的，所以验证码只能使用人为识别。那该如何实现自动登录呢？我们发现，登录一次之后，
2020-12-27 14:54:31
528
1
转载 Python爬虫以及数据可视化分析！
1 环境 操作系统：Windows 10 Python版本：3.9.0 Google Chrome 87.0.4280.88 ChromeDriver 87.0.4280.88 PyCharm 2020.2.3 x642 需求分析&前期准备 2.0 需求分析 目标是秒杀京东的订单，这里面有几个关键点，首先需要登录京东，其次你需要准备好订单，最后要在指定时间快速提交订单。 登录京东，这里就要用到一个爬虫利器Selenium，它是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下
2020-12-25 14:24:34
1458
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人