1 大咖爱爬虫

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 6k+

对比Excel,怎么用Python获取指定月最后一天的日期

这是群友的一个需求。他想根据一个给定的日期,获取该给定日期在这个年月的最后一天的日期,并且要求在Python中怎么做。基于此,我就想到了对比Excel,在Python中完成这个需求。Excel完成这个需求① 在单元格中输入EOMONTH()公式② 完成填充操作③ 将时间戳转换为短日期格式可以看到在excel中输入该公式后,默认返回的是一个时间戳,我们需要将其转换为我我们需要的短日期格式。Python完成这个需求在完成这个需求之前,我们先来讲述几个知识点,否则你..

2020-08-03 13:54:01

Python 还能实现图片去雾?FFA 去雾算法、暗通道去雾算法用起来! | 附代码

在过去的几十年中,单图像去雾作为基本的低级视觉任务已引起了计算机视觉社区和人工智能公司的越来越多的关注。其中最为典型的便是北大&北航提出FFA-Net去雾新网络和何凯明博士提出的暗通道去雾算法,现所有源码已开源。其论文链接:https://arxiv.org/abs/1911.07559。加python学习qq群:775690737 送python零基础入门学习资料+99个源码而今天我们就将针对这两个项目进行实践。其中得到的去雾效果如下:实验前的准备首先...

2020-08-03 13:03:05

自动化篇 | 这些自动化场景,批处理脚本完全可以取代 Python!

1. 前言提到自动化解决方案,相信大部分人会想到用 Python 语言,只需要根据功能场景,编写 Python 脚本即可相反,PC 端的Batch 批处理似乎快被忘记了,很多人对它嗤之以鼻,认为这么古老的脚本语言貌似没什么用,Python 似乎可以取而代之相比 Python 脚本,Batch 批处理脚本在某些场景下,使用更简洁、方便、高效,即写即用,不需要依赖 Python 环境,并且可以完全摆脱打包等繁琐步骤2. 批处理基础新建批处理脚本很简单,只需要新建一个文本文件,然后...

2020-08-03 12:59:28

Python 3爬虫、数据清洗与可视化实战PDF高清完整版免费下载|百度云盘

《Python 3爬虫、数据清洗与可视化实战》共分11 章,6 个核心主题:其一是Python 基础入门,包括环境配置、基本操作、数据类型、语句和函数;其二是Python 爬虫的构建,包括网页结构解析、爬虫流程设计、代码优化、效率优化、容错处理、反防爬虫、表单交互和模拟页面点击;其三是Python 数据库应用,包括MongoDB、MySQL 在Python中的连接与应用;其四是数据清洗和组织,包括NumPy 数组知识、pandas 数据的读写、分组变形、缺失值异常值处理、时序数据处理和正则表达式的使用;其五

2020-07-28 13:43:19

10行python代码实现钉钉自动打卡,网友:终于告别缺勤了

前言众所周知因为疫情的原因大家都没有办法上学和上班,“钉钉”这个app起到了重大的作用。学校为了学生成绩开启“钉钉”之路。老师也成一个“合格”的主播,感谢XXX童鞋的礼物、666扣起来老师为了营造一个好的学习环境,直播风格也是独具一格。钉钉到底有什么功能为大众所用呢?为什么要写钉钉打卡?其实我是个早起早睡的乖宝宝,所以我是用不上的,至于为什么要写这个脚本,其实是因为我在加班,工作干完了,还有10分钟可以下班,那就利用10分钟学(装)个(个)习(B)。废话就不说了, 快下班了。直接

2020-07-23 13:41:50

Python大牛教你:爬虫获取QQ空间信息

开发工具Python版本:3.6.4相关模块:requests模块;selenium模块;lxml模块;pyecharts模块;以及一些Python自带的模块。相关文件加python学习qq群:775690737 送python零基础入门学习资料+99个源码环境搭建同Python爬取QQ空间信息(上)。pyecharts模块安装参见:Python简单分析微信好友原理简介T_T空间都登录了,剩下的就是分析数据包,找到需要的接口来获取需要的数..

2020-07-23 13:39:53

一棵韭菜的自我修养:用Python分析下股市,练练手

股市跌宕起伏。7 月初 A 股飙升,股票瞬间成为大家的热门讨论话题,「现在入场还来得及吗?」几乎成为新的问候语。然而,经历了连续近 10 个交易日的快牛行情后,上证指数上涨势头放缓。这是牛市,还是熊市?怎么在趋势之中腾挪转移,抓住时机下场?抑或是按兵不动,放长线钓大鱼?不要妄下定论。毕竟股市有风险,入市需谨慎。那么,有没有什么方法可以帮助你做决策呢?最近,一位常年研究股票系统的开发者 pythonstock 用 Python 写了一个股票分析系统,发布数天就获得了不少关注。于是我们就推荐给大

2020-07-23 13:37:31

聊聊 Python 代码覆盖率工具 - 大咖爱爬虫

1. 代码覆盖率单元测试代码覆盖率作为一种度量方式,可以计算单元测试用例对于被测代码的覆盖程度,即:被执行的代码数量和代码总数量的比值统计代码覆盖率,经常在单元测试后再进行,可以为测试结果提供评判依据Python 项目最常使用的代码覆盖率统计工具就是:Coverage2. CoverageCoverage是用于统计 Python 代码覆盖率的工具,不仅支持分支覆盖率统计,生成 HTML 格式的统计报告,而且可以集成到 Jenkins 中使用安装 Coverage依赖同样...

2020-07-23 13:29:03

5000行python代码+可视化60W数据,告诉你知乎用户不为人知的事

一次完整的python分析+可视化展示,是什么样的?比如我想知道知乎用户的学历,是否都是985呢?我还想知道知乎最受关注的话题都是些什么?高端人士都喜欢看什么书呢?“人在XX,刚下飞机?”这句话出现的频率有多高呢?最快的方法是用python爬虫然后加BI可视化分析!python爬虫仅需几步就可以完成:找到网页URL,查看HTML代码 在HTML代码中找到你要提取的数据 写python进行网页请求和解析 存储数据,Excel导出于是我使用10000秒的时间写了5000行代码,爬取了知乎

2020-06-05 16:31:39

教你用Python: 批量下载抖音去水印视频~

导读: 本文介绍了如何使用简单的Python爬虫爬取抖音上你喜欢的拍客的所有视频(包含有水印和无水印两种)。代码已上传至公众号后台,回复:抖音即可获得。一、获取你喜欢的拍客的视频url即 抖音用户主页的url,我将以罗永浩的主页连接为例(本人第一次下载抖音就是冲着罗永浩去的,所以也只关注了他一个人)1.获取主页链接打开抖音,点进用户的主页面,点击右上角的三个点:选择分享:再点击 复制链接即可,我们可以获取如下url:https://v.dou...

2020-06-05 11:06:09

一日一技:Python 格式化字符串,这个方法真的即丝滑又舒服!

一堆堆的烂数据里面有很多的字符串,所以最近老用到格式化字符串...按理说我应该对这种重复性的动作很烦,起初确实是这样,但是现在我乐在其中,为什么呢?肯定不是脑子坏了,因为我最近学会了一个超好用的格式化字符串的方法,那是相当的丝滑,所以我又迫不及待的来分享啦!当然在进入正题之前,还是应该来回顾一下之前我们是怎么格式化字符串的,毕竟我不是一个有了新欢就忘了旧爱的...渣男。第一种就是上古时代的方法,Python2.6 以前的独霸天下的"%"操作符:在我当初刚学 Python...

2020-06-05 10:52:24

Python: 玩转各种多媒体+视频+音频+图片

我们经常会遇到一些对于多媒体文件修改的操作,像是对视频文件的操作:视频剪辑、字幕编辑、分离音频、视频音频混流等。又比如对音频文件的操作:音频剪辑,音频格式转换。再比如我们最常用的图片文件,格式转换、各个属性的编辑等。因为多媒体文件的操作众多,本文选取一些极具代表性的操作,以代码的形式实现各个操作。一、图片操作操作图片的模块有许多,其中比较常用的两个就是Pillow和opencv,两个模块各有优势。其中opencv是计算机视觉处理的开源模块,应用的范围更加广泛,从图像处理到视频处理,再...

2020-06-05 10:51:03

偷偷用python远程探查女票每天的网页访问记录,网友:必须分手!

你的技术大学过程:利用Python制作远程查看别人电脑的操作记录,与其它教程类似,都是通过邮件返回。利用程序得到目标电脑浏览器当中的访问记录,生产一个文本并发送到你自己的邮箱,当然这个整个过程除了你把python程序植入目标电脑外,其它的操作都是自动化的。我知道我说到这些,有些人又开始有其它的想法了,可别想了,玩玩、学习可以,违法的事情咱不能干。我想知道女友每天在干嘛,女友是个富二代,用的是苹果电脑,还有我得说一下她用的是谷歌浏览器,所以你们在实验的时候要修改一些内容。

2020-06-05 10:44:09

震惊!当Python遇到Excel后,将开启你的认知虫洞

本文主要内容:1. Excel,你为什么如此强大2. 软件开发也需要团队作战3. Excel的集成方案演化4. macOS特有的集成方案:applescript5. Python与Excel集成,有哪些好处6. 了解多个技术领域,可以间接提高自己的IQ7. 提高开发效率的利器:生态渗透8. 上代码:Python到底如何与Excel交互9. 用Python替代VBA本文主要讲Python与Excel的关系以及集成方案,Office家族的其他成员,如Word、PowerP

2020-06-05 10:40:13

美图网上太多难以筛选,教你用Python挑选最合适的

前几天,極光同学写了篇下载王者荣耀皮肤的文章,可以轻松的获取各种英雄背景图,甚是激动,也想将桌面背景换成漂亮的,不过我对王者荣耀不感冒(曝露年龄啦),时常会被必应搜索主页的背景图所震撼,于是想到从必应获取桌面壁纸,并且排除掉自己不喜欢的图片,应该是个不错的主意,说干就干问题分析必应每天都会有新的壁纸,大都是自然风光、人文地理等等,非常漂亮,在页面上点击右键,保存背景图片,就能简单的保存下来。但是总是这么干,不是个好办法,最好能自动化。自动化中,图片下载很简单,只要找到背景图片链接,下载保存即可。

2020-06-05 10:36:52

用Python爬取招聘网站数据,让学习、求职信息公开透明化~

1、项目背景随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,社会对于“数据”方面的人才需求也在不断增大。因此了解当下企业究竟需要招聘什么样的人才?需要什么样的技能?不管是对于在校生,还是对于求职者来说,都显得很有必要。本文基于这个问题,针对51job招聘网站,爬取了全国范围内大数据、数据分析、数据挖掘、机器学习、人工智能等相关岗位的招聘信息。分析比较了不同岗位的薪资、学历要求;分析比较了不同区域、行业对相关人才的需求情况;分析比较了不同岗位的知识、技能要求等。做完以后..

2020-06-05 10:33:04

Python小技巧:如何批量更新已安装的库?

众所周知,升级某个库(假设为 xxx),可以用pip install --upgrade xxx命令,或者简写成pip install -U xxx。如果有多个库,可以依次写在 xxx 后面,以空格间隔。那么,如何简单优雅地批量更新系统中全部已安装的库呢?接下来我们直奔主题,带大家学习几种方法/骚操作吧!方法一:pip list 结合 Linux 命令pip list命令可以查询已安装的库,结合 Linux 的一些命令(cut、sed、awk、grep……),可以直接在命令行中实现...

2020-05-26 09:55:59

Python爬虫之获取淘宝商品信息

首先需要先导入webdriverfrom selenium import webdriver复制代码webdriver支持主流的浏览器,比如说:谷歌浏览器、火狐浏览器、IE浏览器等等然后可以创建一个webdriver对象,通过这个对象就可以通过get方法请求网站driver = webdriver.Chrome() # 创建driver对象driver.get('https://www.baidu.com') # 请求百度复制代码接下来可以定义一个方法:search_produ

2020-05-26 09:54:59

Python总结: 对excle文件的读写、数据处理

一、用xlrd可打开文件、读取数据,但是用put_cell()写数据,不能修改excel文件(补充:可修改内存中的文件)。二、用xlwt可创建文件、创建SHEET,可写入数据,保存文件。但是不能修改已创建的文件,没有open_workbook 方法。三、若要打开一个已有的excel文件,并对其数据做处理,然后写入文件,只能xlrd和xlwt结合使用,一个用来读,一个用来写。四、用xlutils,有copy()方法,book_write = copy(workbook_read),可实现文件复制,

2020-05-25 09:09:39

Python 对excle文件的读写、数据处理小结

一、用xlrd可打开文件、读取数据,但是用put_cell()写数据,不能修改excel文件(补充:可修改内存中的文件)。二、用xlwt可创建文件、创建SHEET,可写入数据,保存文件。但是不能修改已创建的文件,没有open_workbook 方法。三、若要打开一个已有的excel文件,并对其数据做处理,然后写入文件,只能xlrd和xlwt结合使用,一个用来读,一个用来写。四、用xlutils,有copy()方法,book_write = copy(workbook_read),可实现文件复制,

2020-05-25 09:07:37

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。