- 博客(1789)
- 收藏
- 关注
原创 如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入。一、代码实现1、修改Scrapy项目中的items.py文件。我们需要获取的数据是朋友圈和发布日期,因此在这里定义好日期和动态两个属性,如下图所示。 2、修改实现爬虫逻辑的主文件moment.py,首先要导入模块,尤其是要主要将item...
2018-05-12 23:40:04 16205 31
原创 盘点一个Python字符串格式化处理的问题(AI+Python)
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤君问归期未有期,巴山夜雨涨秋池。何当共剪西窗烛,却话巴山夜雨时。大家好,我是Python进阶者。一、前言前几天在Python白银交流群【空翼】问了一个字符串格式化处理的问题,问题如下:二、实现过程这里【东哥】给了一个指导,如下所示:{word:<10}:这是一个格式化字段,wor...
2024-03-28 09:01:08 352
原创 想分组聚合各省的条数、总额,及其平均数或者占比的话,Python方便还是slq方便?...
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤举贤任能,不时日而事利。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【斌】问了一个数据处理的问题。问题如下:求教大佬:我有全国的明细5000条,其中一个字段是省(直辖市),如果我想分组聚合各省的条数、总额,及其平均数或者占比的话,Python方便还是sq...
2024-03-27 09:01:40 409
原创 Pandas运行后,结果有误?"平"结果为什么是减呢?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤酒逢知己饮,诗向会人吟。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【钟爱一生】问了一个pandas数据处理问题。问题如下:有个问题是if pd.isnull(diff_qty):row[compare_increase_decrease_col] = "...
2024-03-26 09:01:08 429
转载 70k,直接封神!
说个好消息!每年的三月底,会迎来Python圈内兼职接单的小高潮。近期可以很轻松地,接到爬虫类和数据分析类的私活,需求大报酬高。有很多人表示,平时太费钱,想接单“回血”,每天都有上百人在后台私信询问技术变现方面的问题。当下各领域对爬虫服务的需求量虽说很大,但其对技术的要求可一点都不低,通常高价值的爬虫项目都需要攻破各类反爬虫措施才能完成,破不了反爬虫就接不了单赚不到钱。所以,每天都会有很多人来咨询...
2024-03-25 12:01:15 10
转载 AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤举贤任能,不时日而事利。AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀【赠书】金融大数据分析新模式:一本专注于帮助金融大数据分析师在AI时代实现晋级、提高效率的图书。书中介绍了如何使用 ChatGPT 来完成金融大数据分析的各个环节,并通过实战案例展示了...
2024-03-24 20:05:10 11
原创 python处理完的df数据怎么快速写入mysql数据库表中?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤京华结交尽奇士,意气相期共生死。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子~】问了一个python处理完的df数据怎么快速写入mysql数据库表中问题。问题如下:大佬们 python处理完的df数据怎么快速写入mysql数据库表中? ...
2024-03-22 09:01:30 806
原创 盘点一个语音识别库报错的问题
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤机不可失,时不再来。大家好,我是Python进阶者。一、前言前几天在Python白银交流群【云何应住】问了一个Python处理语音消息识别的实战问题。问题如下:importspeech_recognitionassr#导包r=sr.Recognizer()mic=...
2024-03-21 09:01:25 532
原创 分享一份Python实现的视频播放器源码
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤但愿人长久,千里共婵娟。大家好,我是Python进阶者。一、前言前几天在Python白银交流群【云何应住】问了一个Python实现的视频播放器源码问题。问题如下:Python实现的视频播放器源码,能运行,简单明了,有吗?二、实现过程这里【瑜亮老师】一开始给了一个代码,可能有点老,后来给...
2024-03-20 09:00:24 611
转载 打工人神器,免费帮你写代码,改代码,写文章,分析数据!
AI技术的大火,已经对我们生活的方方面面都产生了深远的影响,也极大的提高了我们的工作效率。尤其对于码农来说,我们大部分的时间都在写代码,改代码和测代码。今天给大家安利超强的智能助手,100%国产开发,商汤科技的“小浣熊”智能助手来了。有了它可以大幅提高我们的办公效率,因为100%国产,国内电脑都能直接使用。下面我们就来重点说说其在编程助手和办公助手两大方面的表现。01 代码小浣熊编程助手功能 有下...
2024-03-19 09:02:01 11
转载 70k!建议大家试试这个门槛很低的新方向!
说个圈子里的好消息,三月近半,现已进入Python技术做私活的旺季,各行业对Python技术服务的需求可能暴增。估计圈子里的朋友都没闲着,趁着高潮期接单赚一笔。最近,来咨询技术变现、兼职接单问题的朋友也越来越多。在一一回复过公众号后台近千条留言与提问之后,我发现有部分问题出现的频率很高,将大家的困惑总结归纳之后,大体上可以分为两种情况:1、有点基础,想尝试做私活,但订单难度太高搞不定项目2、技术很...
2024-03-18 12:03:09 9
转载 终于,你想要的人工智能入门书来啦!漫画学AI,轻松有趣~~
????点击“博文视点Broadview”,获取更多书讯--文末赠书--总是有同学来问博文菌,“有没有基础好看一点的讲人工智能的书?”此时,博文菌只能把已有的这些和人工智能相关的书是讲什么的,讲到什么程度等分析一遍,让同学自己按需选择!然而,今天,有了这本书,博文菌终于可以有底气地说:“基础、好看,普通人都能看懂的人工智能书看它就行了!”呐,就是这本《漫画学人工智能(Python版)》!这本书,由一线...
2024-03-16 10:00:34 10
原创 读取设置密码保护的excel文件,有没有更好的办法?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤莫道秋江离别难,舟船明日是长安。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Python处理Excel加密文件读取问题。问题如下:请教:读取设置了密码保护的exlce文件,df = pd.read_excel(file,password=...
2024-03-15 09:00:38 565
原创 盘点一个Pandas实战需求的问题
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤举贤任能,不时日而事利。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Pandas解决实际需求的实战问题。问题如下:请教:代码的目的为自动填充产品名字,有多个销售数据的表格,如例子,销售数据表格中的的产品名字一列为空,我把销售数据表格与产品...
2024-03-14 09:00:25 643
原创 离线安装pdfplumber报错,已经升级了pip模块,应该怎么处理呢?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤花间一壶酒,独酌无相亲。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Python库安装的问题。问题如下:离线安装pdfplumber报错,已经升级了pip模块,应该怎么处理呢?二、实现过程这里【隔壁????山楂】给了一个思路:用镜像下载。后来【...
2024-03-13 09:03:29 851
原创 想问一下为什么赋值不过去,还有这样写入csv文件有问题吗?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤但愿人长久,千里共婵娟。大家好,我是Python进阶者。一、前言前几天在Python白银交流群【黄志诚】问了一个Pandas数据读写赋值的问题。问题如下:想问一下为什么赋值不过去,还有这样写入csv文件有问题吗?代码截图如下:二、实现过程这里【论草莓如何成为冻干莓】给了一个思路,如下图...
2024-03-12 09:03:28 859
转载 3月,一个新方向爆了!68k很稳
朋友们好!先说个好消息,Python技术做私活的高潮期现已到来,想赚外快的朋友快行动起来!圈子里最近喜报频传,很多人接到大单,甚至有人单靠副业就能半个月赚几W。进入3月以来,公众号后台收到很多关于爬虫技术变现与爬虫技术进阶的问题留言。可以看出,大家都在期待一套技术速成与高效变现的绝佳方案。在与大家交流过后,我意识到,虽然现在市场上订单多报酬高,但大部分人的技术却无法满足甲方需求,接不了高价值的单。...
2024-03-11 14:00:09 164
转载 入门数据分析师的最强秘籍,都在这4本书里!
大家还记得那本狂销20多万册,横扫各大畅销榜单的“对比Excel”系列图书吗?阅读顺序四本书的建议阅读顺序为:SQL数据分析、Python数据分析、Python报表自动化、Python统计分析。SQL数据分析主要是讲解数据分析过程涉及到的SQL技能,比如分组查询、窗口函数这些;Python数据分析主要是讲数据分析过程中涉及到的数据操作,比如重复值处理、缺失值填充、数据透视表等;Python报表自动...
2024-03-10 10:00:35 10
原创 Python爬取免费IP代理时,无法解析到数据
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤劝君更尽一杯酒,西出阳关无故人。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【ZXS】问了一个Python网络爬虫实战问题。问题如下:我这里遇到一个问题:【爬取免费IP代理时,无法解析到数据】,我通过 xpath,css定位到了元素,但是在运行时返回空列...
2024-03-09 09:01:33 426
转载 提前恭喜!全体数据从业者要彻底炸锅了!这波好消息来的太突然!!!
ESG真的火了!“企业ESG部门经理月薪10-15万,应届生起薪2-4万,已经算个正常薪资水平。” ESG猎头如是说。01 求职新风口 ESG火爆网络要说这两年哪些词最热门且最受行业关注?ESG绝对能排在前三。作为行业新风口,ESG几乎席卷和覆盖了各大领域!这股风潮正在全行业悄然蔓延,大家暗戳戳“卷”起了关于ESG的一切。懂ESG的数据人,到底有多香?各大企业要想可持续发展、ESG作为投资的重要...
2024-03-08 11:00:19 21
原创 手把手教你使用用AI自动化制作PPT
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤春困秋乏夏打盹,睡不醒的冬三月。大家好,我是Python进阶者。一、前言前几天AI创富俱乐部初创合伙人中的【2-周同学-深圳】深夜分享了使用AI自动化制作PPT的视频,后来看完录播,也是深有收获。这里也顺便说下,如果想加入我的合伙人的话,欢迎私聊哈。周同学接受了两个AI自动化制作PPT...
2024-03-07 09:03:08 637
原创 盘点一个Pandas处理json数据的实战案例
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤人有悲欢离合,月有阴晴圆缺。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【黑科技·鼓包】问了一个Pandas处理json数据的问题。问题如下:大佬们请教下一个很简单的问题,因为我半瓢水也不知道该怎么解决,问AI好像也写不好描述,麻烦帮忙看看呗?如下json...
2024-03-06 14:28:18 1022
原创 盘点一个Pandas实战案例
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤劝君更尽一杯酒,西出阳关无故人。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【钟爱一生】问了一个Pandas库实战的问题。问题如下:各位大佬,这个得到的结果怎么没按包含数量和金额的列名排序后移动到[发料仓库,1级物料类别,2级物料类别,3级物料类别,4级物...
2024-03-05 09:01:30 1393
转载 68k!建议大家冲一冲这个前景被严重低估的方向!
最近在技术群里,看见有Python圈子里的朋友晒了张图,是其用Python技术兼职赚钱的接单记录,在了解详情后我大为震撼,竟然有人单靠下班接私活就能赚这么多!可仔细想想,3月已经到来,现在正处于Python爬虫接单的旺季,市场对爬虫服务的需求量与日俱增,报酬也越来越高,所以对掌握企业级爬虫技术的朋友来说,兼职接单月入3W似乎也简单。当下各领域对爬虫服务的需求量虽说很大,但其对技术的要求可一点都不低...
2024-03-04 09:24:46 12
原创 盘点4种方法处理42w行数据精确的提取到其中的年度信息
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤早岁那知世事艰,中原北望气如山。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【金光灿灿】问了一个Pandas处理字符串数据的问题。问题如下:亲们问个问题:现在有1列数据,约42w行,字段名为PatientID,字段内长度不一,经统计共有下列5种,示例如下,...
2024-03-03 10:00:35 834
原创 盘点一个AI+Pandas实战业务需求
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤君歌杨叛儿,妾劝新丰酒。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【Chloe】问了一个Pandas实战需求问题。问题如下:大佬们, 我有个需求: 公司希望了解哪些商家最受新客户欢迎。您需要了解每个商家的订单数量和首次订单数量。首次订单是从客户的角度来看...
2024-03-02 10:30:38 877
原创 怎么用Python正则表达式来实现Excel文件名批量匹配?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤非知之难,行之为难。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Python处理Excel数据的问题。问题如下:请教:每个文件夹下都有一个“XX公司 [2023]4234534客户清单.xlsx”的文件,我现在用os模块,if file_...
2024-03-01 09:01:48 448
原创 这个乱码的问题如何处理,网页代码用print还是正常的?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤非行之难,终之斯难。大家好,我是Python进阶者。一、前言前几天在Python钻石交流群【格子eric】问了一个Python处理html数据乱码的问题。问题如下:想问一下这个乱码的问题如何处理,网页代码用print()还是正常的,保存到另一个文件中就乱码了。二、实现过程这里【提请问粘...
2024-02-29 09:00:56 408
转载 Sora,太牛逼了
大家好,我是Python进阶者。前段时间我给大家分享了很多关于AI的文章,原本我以为这些文章里面的相关技巧已经可以说是非常的牛了!但没想到几天后,又出了一个令A I界为之震惊的产品Sora,这个产品在极短的时间内就能生成优质的视频,如果是我们人工产生的话,那需要大量的拍摄,剪辑和特效制作。现在,我持续被ChatGPT和Sora震惊,以至于更加确信了,A I对于我们生活工作学习的诸多影响。所以,在这...
2024-02-28 09:24:33 69
原创 盘点一个Python自动化办公实战问题——统计民主评议表格
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤山映斜阳天接水,芳草无情,更在斜阳外。大家好,我是皮皮。一、前言前几天在Python最强王者交流群【东哥】问了一个Python自动化办公的问题。问题如下所示:大佬们,请教一个Python自动化办公问题,我有7个这样的民主评议表格,现在想通过Python批量的计算每个人最后的平均总分,应...
2024-02-27 09:02:02 747
转载 爆肝2天,用Python赚了4w!
朋友们好!先说个好消息,Python圈内一年一度的春季私活接单黄金期现已来临!现在是本季度中,最容易接到爬虫类私活的时期,不仅接单容易,报酬也很高。抓紧机会接私活,一个星期赚上万很容易。近期在后台私信中,看到了很多关于Python技术变现与爬虫技术学习的提问与咨询,很多人都表示过年太费钱了,现在想接单回血。通常,高价值的爬虫类私活项目,是需要攻破各类反爬虫措施才能完成的。虽说当下各领域对爬虫服务的...
2024-02-26 09:00:20 17
原创 Pandas中这个账龄划分的 有没有什么简便的方法可以实现?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤会当凌绝顶,一览众山小。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子~】问了一个Python处理Excel数据的问题。问题如下:大佬们 请问下 这个账龄划分的 有没有什么简便的方法可以实现?自己做的这太繁琐了代码如下:'''项目账龄天...
2024-02-25 10:01:16 815
转载 智能分析:ChatGPT+Excel+Python超强组合玩转数据分析
????点击“博文视点Broadview”,获取更多书讯--文末赠书--Python+Copilot/ChatGPTExcel未来已来话说天下大势,合久必分,分久必合。于数据分析而言,近几年是实实在在的多事之秋。首先是顶流Python高举卷王之王的大旗向传统王者VBA抢班夺权,pandas, xlwings、OpenPyXL和Matplotlib等第三方包已经具备VBA和Power Query的几乎所有...
2024-02-24 10:04:09 35
原创 盘点一个Python自动化办公Excel数据处理的需求
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤会当凌绝顶,一览众山小。大家好,我是Python进阶者。一、前言前几天在Python白银交流群【干锅牛蛙】问了一个Python处理Excel数据的问题。问题如下:有两个问题哈:1、表头有合并单元格识别不出来,如何处理类似下图2、遇到单元格有公式自动识别成了0,如何处理,保留计算后的值,...
2024-02-23 09:01:21 557
转载 提前恭喜!全体数据人要彻底炸锅了!这波好消息来的太突然!!!
作为席卷全球的新概念ESG已然成为当前各个行业关注的最热风口近期国内官方发布了一项ESG新证书含金量五颗星、中文ESG证书、完整ESG考试体系、名师主讲...甚至在行业圈成为大佬们的热门话题...01 ESG为什么重要?在双碳的大背景下,ESG已然成为了各个行业关注的发展重点战略板块。无论是科技企业还是金融、环保、法律、建筑、化工、互联网、财会审计等等各个行业都在加紧布局,ESG定会成为下一个重要...
2024-02-22 11:00:52 19
原创 pandas读取日期后格式变成XXXX-XX-XX 00:00:00?(文末赠书)
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤池塘春草谢家春,万古千秋五字新。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【鶏啊鶏。】问了一个Pandas处理Excel的问题。问题如下:pandas读取了XXXX-XX-XX的日期后变成XXXX-XX-XX 00:00:00 有什么方式可以读取时不改...
2024-02-21 09:01:36 950
转载 开工后的第一个Python私活,我赚了2w!
今天是节后上班第2天,祝大吉!先说个好消息:每年春节后,会迎来Python圈内兼职接单的小高潮。近期可以很轻松地,接到爬虫类和数据分析类的私活,需求大报酬高。往年春节开工后的几天,做私活赚上万很容易。有很多人表示,过年太费钱,节后需要接单“回血”,早在年初五,后台和私信中来询问技术变现方面问题的留言就已超过99+。当下各领域对爬虫服务的需求量虽说很大,但其对技术的要求可一点都不低,通常高价值的爬虫...
2024-02-19 09:03:05 29
原创 通过Python解压缩多个压缩文件如何实现多层文件夹解压缩?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤故知之始己,自知而后知人也。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Python自动化办公的问题。问题如下:请教 通过Python解压缩多个压缩文件,但是解压缩后的文件又包含多个压缩文件,怎样设置逻辑同步再次解压呢?二、实现过程这里【...
2024-02-18 09:01:13 488
原创 pandas结合正则表达式实现[ ] '这三个字符串去除
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤今日不为,明日忘货。昔之日已往而不来矣。大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Pandas处理数据的问题。问题如下:请教:excel的字段中包含[]字符,例如“中山分公司[‘张三’]”,要把[ ] '这三个字符串去掉,df['备注'...
2024-02-17 20:51:28 448
原创 有啥办法把百度地图某个点1公里范围内截个图?
点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤东方欲晓,莫道君行早。大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个地图截图的问题,问题如下:第一个问题:你们有啥办法把百度地图某个点1公里范围内截个图。第二个问题:第二是,我有四个相临的位置,4个地方能不能同时画4个1公里的大圆圈。像下图这样子,相邻地...
2024-02-15 09:02:49 794
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人