Python进阶者-CSDN博客

原创如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）

前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇（理论篇），今天给大家分享一下代码实现（实战篇），接着上篇往下继续深入。一、代码实现1、修改Scrapy项目中的items.py文件。我们需要获取的数据是朋友圈和发布日期，因此在这里定义好日期和动态两个属性，如下图所示。 2、修改实现爬虫逻辑的主文件moment.py，首先要导入模块，尤其是要主要将item...

2018-05-12 23:40:04 16223 31

原创在pycharm里边怎么设置代码背景图的？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤君问归期未有期，巴山夜雨涨秋池。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【Kim】问了一个Python问题，然后他发出来的代码如下图所示：可以看到代码中有背景图，是不是看上去蛮高大上的？那么这个背景图是怎么加上去的呢？这里给大家介绍一下方法。二、实现过程这...

2024-04-17 09:00:41 204

原创 Python这个代码里面x=self是什么意思啊

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红满苔阶绿满枝。杜宇声声，杜宇声悲。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【无敌劈叉小狗】问了一个Python基础的问题，问题如下：这个代码里面x=self是什么意思啊？self到底是个什么存在呢？感觉把类本身赋值给x这个点有点抽象。二、实现过程这里【论...

2024-04-16 09:01:57 337

转载 35个python实战项目，完整源代码！

收集整理最新36个python实战项目源代码，系统实用，不是普通的小脚本！多看多练是提升代码能力的最佳途径，一起操练起来！视频转字符动画12306B站弹幕B站滑块验证码破解GUI签名python爬取并简单分析51jobpython破解滑块验证码pothon实现代码雨效果python制作简易时钟tkinter计算器web安全WIFI测试百度搜索引擎电影小助手动态更新地球壁纸抖音表白小程序多肉数据查询...

2024-04-15 11:18:46 14

原创盘点一个可以永久解决pycharm无法debug这个问题的方法

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤辱人以不堪，必反辱；伤人以已甚，必反伤。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【王者级混子】问了一个可以永久解决pycharm无法debug这个问题的方法的问题，问题如下：大佬们，请问有没有可以永久解决pycharm无法debug这个问题的方法啊？我用下...

2024-04-12 09:00:56 419

原创用pd去读Excel 加了openpyxl作为engine报错

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤昆明池水汉时功，武帝旌旗在眼中。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【菜????】问了一个Pandas数据处理的问题，问题如下：各位大佬我用pd去读Excel 加了openpyxl作为engine报错。是公司的Excel有加密的原因吗？二、实现过程这里【王...

2024-04-11 09:01:29 741

原创想获取JS加载网页的源网页的源码，不想获取JS加载后的数据

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤昆明池水汉时功，武帝旌旗在眼中。大家好，我是Python进阶者。一、前言前几天在Python钻石交流群【梦】问了一个Python网络爬虫的问题，这个网站不知道使用了什么反爬手段，都获取不到页面数据。原来的那篇文章竟然爆文了，突破了1.5w的阅读量，欢迎大家围观。不过这里粉丝的需求有点奇...

2024-04-10 09:01:05 762

转载七天入门RAG应用开发！鹅厂大牛手把手带你实践

2024年，大模型发展的脚步持续加快，相信你一定对 RAG（检索增强生成）有所耳闻，随着大模型的快速发展，RAG 作为一种新兴的开发范式，能有效解决大模型的幻觉和知识停滞的问题，并已成为企业构建智能问答应用的最佳实践。RAG 技术易于入门，但效果难以提升。如何借助 RAG，最大限度发挥大模型的潜力？怎样轻松搭建你的专属 RAG 知识库与智能问答机器人？RAG 又如何能够在企业级场景中高质量落地？腾...

2024-04-09 09:00:52 17

转载 70k！一个门槛极低的新方向

说个好消息！每年4月，会迎来Python圈内兼职接单的高潮。近期可以很轻松地，接到爬虫类和数据分析类的私活，需求大报酬高。有很多人表示，平时太费钱，想接单“回血”，每天都有上百人在后台私信询问技术变现方面的问题。当下各领域对爬虫服务的需求量虽说很大，但其对技术的要求可一点都不低，通常高价值的爬虫项目都需要攻破各类反爬虫措施才能完成，破不了反爬虫就接不了单赚不到钱。所以，每天都会有很多人来咨询爬虫逆...

2024-04-08 12:00:48 7

原创盘点一个Python基础的问题

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤此曲只应天上有，人间难得几回闻。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【无敌劈叉小狗】问了一个Python基础的问题，问题如下：为什么有的是self.name=name，第二个init里面都没有xy 也可以self.x和self.y，还有第三个那个sel...

2024-04-07 09:00:15 704

原创我如何每次运行程序时，都会将数据添加到对应的keys中，而不是重新创建一个dict啊？...

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤横汾路，寂寞当年箫鼓，荒烟依旧平楚。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【???? ???? ????】问了一个Python项目实战的问题，问题如下：请问，我如何每次运行程序时，都会将数据添加到对应的keys中，而不是重新创建一个dict啊。二、实现过程这里【东哥】...

2024-04-04 09:01:56 607

原创盘点一个dbeaver导入csv文件到sql server报错的一个问题

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤此曲只应天上有，人间难得几回闻。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【金光灿灿】问了一个dbeaver导入csv文件到sql server报错的一个问题，问题如下：我在使用dbeaver导入csv文件到sql server时一直出现Can't pa...

2024-04-03 09:02:08 772

原创构造函数init到底是什么作用是下面的方法都可以从init里面获取参数吗？（AI+Python）...

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤不必于世事件件皆能，惟求与古人心心相印。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【无敌劈叉小狗】问了一个Python基础的问题，问题如下：问一下构造函数init到底是什么作用是下面的方法都可以从init里面获取参数吗？二、实现过程这里【黄志诚】分享了自...

2024-04-02 09:01:18 604

原创尝试打开同学给的pkl文件，但是报错，怎么破？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤君问归期未有期，巴山夜雨涨秋池。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【YVONNE????】问了一个pkl文件打开报错的问题。请教各位，我尝试打开同学给的pkl文件，但是报错AttributeError: Can't get attribute '_unpi...

2024-03-30 10:01:21 802

原创这个网站不知道使用了什么反爬手段，都获取不到页面数据？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤何当共剪西窗烛，却话巴山夜雨时。大家好，我是Python进阶者。一、前言前几天在Python钻石交流群【空】问了一个Python网络爬虫的问题，这个网站不知道使用了什么反爬手段，都获取不到页面数据。不过他一开始也没有放代码，后来【瑜亮老师】轻松拿捏了。二、实现过程这里粉丝提到，获取页面...

2024-03-29 10:00:42 1032

原创盘点一个Python字符串格式化处理的问题（AI+Python）

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤君问归期未有期，巴山夜雨涨秋池。何当共剪西窗烛，却话巴山夜雨时。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【空翼】问了一个字符串格式化处理的问题，问题如下：二、实现过程这里【东哥】给了一个指导，如下所示：{word:<10}：这是一个格式化字段，wor...

2024-03-28 09:01:08 527

原创想分组聚合各省的条数、总额，及其平均数或者占比的话，Python方便还是slq方便？...

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤举贤任能，不时日而事利。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【斌】问了一个数据处理的问题。问题如下：求教大佬：我有全国的明细5000条，其中一个字段是省（直辖市），如果我想分组聚合各省的条数、总额，及其平均数或者占比的话，Python方便还是sq...

2024-03-27 09:01:40 523

原创 Pandas运行后，结果有误？"平"结果为什么是减呢？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤酒逢知己饮，诗向会人吟。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【钟爱一生】问了一个pandas数据处理问题。问题如下：有个问题是if pd.isnull(diff_qty)：row[compare_increase_decrease_col] = "...

2024-03-26 09:01:08 540

转载 70k，直接封神！

说个好消息！每年的三月底，会迎来Python圈内兼职接单的小高潮。近期可以很轻松地，接到爬虫类和数据分析类的私活，需求大报酬高。有很多人表示，平时太费钱，想接单“回血”，每天都有上百人在后台私信询问技术变现方面的问题。当下各领域对爬虫服务的需求量虽说很大，但其对技术的要求可一点都不低，通常高价值的爬虫项目都需要攻破各类反爬虫措施才能完成，破不了反爬虫就接不了单赚不到钱。所以，每天都会有很多人来咨询...

2024-03-25 12:01:15 17

转载 AI时代Python金融大数据分析实战：ChatGPT让金融大数据分析插上翅膀

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤举贤任能，不时日而事利。AI时代Python金融大数据分析实战：ChatGPT让金融大数据分析插上翅膀【赠书】金融大数据分析新模式：一本专注于帮助金融大数据分析师在AI时代实现晋级、提高效率的图书。书中介绍了如何使用 ChatGPT 来完成金融大数据分析的各个环节，并通过实战案例展示了...

2024-03-24 20:05:10 18

原创 python处理完的df数据怎么快速写入mysql数据库表中？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤京华结交尽奇士，意气相期共生死。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【哎呦喂是豆子～】问了一个python处理完的df数据怎么快速写入mysql数据库表中问题。问题如下：大佬们 python处理完的df数据怎么快速写入mysql数据库表中？ ...

2024-03-22 09:01:30 831

原创盘点一个语音识别库报错的问题

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤机不可失，时不再来。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【云何应住】问了一个Python处理语音消息识别的实战问题。问题如下：importspeech_recognitionassr#导包r=sr.Recognizer()mic=...

2024-03-21 09:01:25 543

原创分享一份Python实现的视频播放器源码

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤但愿人长久，千里共婵娟。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【云何应住】问了一个Python实现的视频播放器源码问题。问题如下：Python实现的视频播放器源码，能运行，简单明了，有吗？二、实现过程这里【瑜亮老师】一开始给了一个代码，可能有点老，后来给...

2024-03-20 09:00:24 640

转载打工人神器，免费帮你写代码，改代码，写文章，分析数据！

AI技术的大火，已经对我们生活的方方面面都产生了深远的影响，也极大的提高了我们的工作效率。尤其对于码农来说，我们大部分的时间都在写代码，改代码和测代码。今天给大家安利超强的智能助手，100%国产开发，商汤科技的“小浣熊”智能助手来了。有了它可以大幅提高我们的办公效率，因为100%国产，国内电脑都能直接使用。下面我们就来重点说说其在编程助手和办公助手两大方面的表现。01 代码小浣熊编程助手功能有下...

2024-03-19 09:02:01 28

转载 70k！建议大家试试这个门槛很低的新方向！

说个圈子里的好消息，三月近半，现已进入Python技术做私活的旺季，各行业对Python技术服务的需求可能暴增。估计圈子里的朋友都没闲着，趁着高潮期接单赚一笔。最近，来咨询技术变现、兼职接单问题的朋友也越来越多。在一一回复过公众号后台近千条留言与提问之后，我发现有部分问题出现的频率很高，将大家的困惑总结归纳之后，大体上可以分为两种情况：1、有点基础，想尝试做私活，但订单难度太高搞不定项目2、技术很...

2024-03-18 12:03:09 16

转载终于，你想要的人工智能入门书来啦！漫画学AI，轻松有趣~~

????点击“博文视点Broadview”，获取更多书讯--文末赠书--总是有同学来问博文菌，“有没有基础好看一点的讲人工智能的书？”此时，博文菌只能把已有的这些和人工智能相关的书是讲什么的，讲到什么程度等分析一遍，让同学自己按需选择！然而，今天，有了这本书，博文菌终于可以有底气地说：“基础、好看，普通人都能看懂的人工智能书看它就行了！”呐，就是这本《漫画学人工智能（Python版）》！这本书，由一线...

2024-03-16 10:00:34 16

原创读取设置密码保护的excel文件，有没有更好的办法？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤莫道秋江离别难，舟船明日是长安。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Python处理Excel加密文件读取问题。问题如下：请教：读取设置了密码保护的exlce文件，df = pd.read_excel(file,password=...

2024-03-15 09:00:38 567

原创盘点一个Pandas实战需求的问题

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤举贤任能，不时日而事利。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Pandas解决实际需求的实战问题。问题如下：请教：代码的目的为自动填充产品名字，有多个销售数据的表格，如例子，销售数据表格中的的产品名字一列为空，我把销售数据表格与产品...

2024-03-14 09:00:25 648

原创离线安装pdfplumber报错，已经升级了pip模块，应该怎么处理呢?

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤花间一壶酒，独酌无相亲。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Python库安装的问题。问题如下：离线安装pdfplumber报错，已经升级了pip模块，应该怎么处理呢?二、实现过程这里【隔壁????山楂】给了一个思路：用镜像下载。后来【...

2024-03-13 09:03:29 886

原创想问一下为什么赋值不过去，还有这样写入csv文件有问题吗？

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤但愿人长久，千里共婵娟。大家好，我是Python进阶者。一、前言前几天在Python白银交流群【黄志诚】问了一个Pandas数据读写赋值的问题。问题如下：想问一下为什么赋值不过去，还有这样写入csv文件有问题吗？代码截图如下：二、实现过程这里【论草莓如何成为冻干莓】给了一个思路，如下图...

2024-03-12 09:03:28 862

转载 3月，一个新方向爆了！68k很稳

朋友们好！先说个好消息，Python技术做私活的高潮期现已到来，想赚外快的朋友快行动起来！圈子里最近喜报频传，很多人接到大单，甚至有人单靠副业就能半个月赚几W。进入3月以来，公众号后台收到很多关于爬虫技术变现与爬虫技术进阶的问题留言。可以看出，大家都在期待一套技术速成与高效变现的绝佳方案。在与大家交流过后，我意识到，虽然现在市场上订单多报酬高，但大部分人的技术却无法满足甲方需求，接不了高价值的单。...

2024-03-11 14:00:09 250

转载入门数据分析师的最强秘籍，都在这4本书里！

大家还记得那本狂销20多万册，横扫各大畅销榜单的“对比Excel”系列图书吗？阅读顺序四本书的建议阅读顺序为：SQL数据分析、Python数据分析、Python报表自动化、Python统计分析。SQL数据分析主要是讲解数据分析过程涉及到的SQL技能，比如分组查询、窗口函数这些；Python数据分析主要是讲数据分析过程中涉及到的数据操作，比如重复值处理、缺失值填充、数据透视表等；Python报表自动...

2024-03-10 10:00:35 12

原创 Python爬取免费IP代理时，无法解析到数据

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤劝君更尽一杯酒，西出阳关无故人。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【ZXS】问了一个Python网络爬虫实战问题。问题如下：我这里遇到一个问题：【爬取免费IP代理时,无法解析到数据】,我通过 xpath,css定位到了元素，但是在运行时返回空列...

2024-03-09 09:01:33 426

转载提前恭喜！全体数据从业者要彻底炸锅了！这波好消息来的太突然！！！

ESG真的火了！“企业ESG部门经理月薪10-15万，应届生起薪2-4万，已经算个正常薪资水平。” ESG猎头如是说。01 求职新风口 ESG火爆网络要说这两年哪些词最热门且最受行业关注？ESG绝对能排在前三。作为行业新风口，ESG几乎席卷和覆盖了各大领域！这股风潮正在全行业悄然蔓延，大家暗戳戳“卷”起了关于ESG的一切。懂ESG的数据人，到底有多香？各大企业要想可持续发展、ESG作为投资的重要...

2024-03-08 11:00:19 31

原创手把手教你使用用AI自动化制作PPT

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤春困秋乏夏打盹，睡不醒的冬三月。大家好，我是Python进阶者。一、前言前几天AI创富俱乐部初创合伙人中的【2-周同学-深圳】深夜分享了使用AI自动化制作PPT的视频，后来看完录播，也是深有收获。这里也顺便说下，如果想加入我的合伙人的话，欢迎私聊哈。周同学接受了两个AI自动化制作PPT...

2024-03-07 09:03:08 652

原创盘点一个Pandas处理json数据的实战案例

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤人有悲欢离合，月有阴晴圆缺。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【黑科技·鼓包】问了一个Pandas处理json数据的问题。问题如下：大佬们请教下一个很简单的问题，因为我半瓢水也不知道该怎么解决，问AI好像也写不好描述，麻烦帮忙看看呗？如下json...

2024-03-06 14:28:18 1034

原创盘点一个Pandas实战案例

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤劝君更尽一杯酒，西出阳关无故人。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【钟爱一生】问了一个Pandas库实战的问题。问题如下：各位大佬，这个得到的结果怎么没按包含数量和金额的列名排序后移动到[发料仓库，1级物料类别，2级物料类别，3级物料类别，4级物...

2024-03-05 09:01:30 1530

转载 68k！建议大家冲一冲这个前景被严重低估的方向！

最近在技术群里，看见有Python圈子里的朋友晒了张图，是其用Python技术兼职赚钱的接单记录，在了解详情后我大为震撼，竟然有人单靠下班接私活就能赚这么多！可仔细想想，3月已经到来，现在正处于Python爬虫接单的旺季，市场对爬虫服务的需求量与日俱增，报酬也越来越高，所以对掌握企业级爬虫技术的朋友来说，兼职接单月入3W似乎也简单。当下各领域对爬虫服务的需求量虽说很大，但其对技术的要求可一点都不低...

2024-03-04 09:24:46 15

原创盘点4种方法处理42w行数据精确的提取到其中的年度信息

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤早岁那知世事艰，中原北望气如山。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【金光灿灿】问了一个Pandas处理字符串数据的问题。问题如下：亲们问个问题：现在有1列数据，约42w行，字段名为PatientID，字段内长度不一，经统计共有下列5种，示例如下，...

2024-03-03 10:00:35 839

原创盘点一个AI+Pandas实战业务需求

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤君歌杨叛儿，妾劝新丰酒。大家好，我是Python进阶者。一、前言前几天在Python最强王者交流群【Chloe】问了一个Pandas实战需求问题。问题如下：大佬们, 我有个需求: 公司希望了解哪些商家最受新客户欢迎。您需要了解每个商家的订单数量和首次订单数量。首次订单是从客户的角度来看...

2024-03-02 10:30:38 883

空空如也

空空如也