10 zhusongziye

尚未进行身份认证

软件测试开发工程师,爱好交友,Python软件开发测试交友群QQ:952490269(加群备注software),欢迎加入!

等级
博文 743
排名 2k+

别只用 Selenium,新神器 Pyppeteer 绕过淘宝更简单!

作者|崔庆才来源|进击的Coder如果大家对Python爬虫有所了解的话,想必你应该听说过Selenium这个库,这实际上是一个自动化测试工具,现在已经被广泛用于网络爬虫中来应对JavaScript渲染的页面的抓取。但Selenium用的时候有个麻烦事,就是环境的相关配置,得安装好相关浏览器,比如Chrome、Firefox等等,然后还要到官方网站去下...

2019-07-02 21:02:22

一篇文章讲清楚Python虚拟环境

本文转自公众号『涛哥聊Python』,详情请扫码关注该公众号:终极利器|一篇文章讲清楚Python虚拟环境我在之前写过一篇「Python新手常见的几个问题及工具推荐」说过新手往往没有注意环境隔离,导致Python项目包与包之间冲突。并且Python2与3代码执行有问题等等。鉴于此我今天给大家聊聊关于Python环境隔离问题以及如何进行隔离。Virtualenv我们都知道Py...

2019-07-02 20:32:12

让弹幕飞一会儿——腾讯视频弹幕(39W+)爬取实战

作者|周志鹏来源|数据不吹牛本文以腾讯视频(都挺好)为例,解析弹幕爬取的细节和难点,对思路感兴趣的旁友们可以跟着文章逻辑走一遍,对于想直接上手爬的同学,文末已给出完整代码。相对于一般电影OR电视剧评论,弹幕能够贴合剧情,进行更多有意思的脑洞分析。每次写爬虫,耳畔都会回响起那句经典的freestyle:“你看这个碗,它又大它又圆,你看这个面,它又长...

2019-07-02 20:26:33

一个随时随地写Python代码的神器 Pythonista

作者|Leoxin来源|菜鸟学Python现在学Python的人越来越多,很多小伙伴都非常有激情。利用碎片时间随时随地学习Python,大家知道Python是一门编程语言,但是学语言光看不练是没有用的。最好能编程并运行,有没有什么好的神器可以随时编写代码,而且功能还蛮强大,有的,我今天就推荐一个IOS手机上能写Python代码的App叫Pythoni...

2019-07-02 20:05:38

你真的会高效的在GitHub搜索开源项目吗?

GitHub的流行,GitHub在开源世界的受欢迎程度自不必多言。再加上之前GitHub官方又搞了个大新闻:私有仓库也改为免费使用,这在原来可是需要真金白银的买的。可见微软收购后,依然没有改变GitHub的定位,甚至还更进一步。花开两朵,各表一枝。我们今天想要聊的并不是GitHub多么重要,而是要说一下GitHub的搜索功能。你在GitHub上搜索代码...

2019-06-30 11:44:26

超常用的Python代码片段 | 备忘单

作者|BisratYalew原文|GitHub公号“Python大本营”超常用的Python代码片段本文作者BisratYalew共享了自己在项目中使用过的Python代码片段,希望能帮到其他开发人员,以减少时间并简化开发流程,该项目内容包含:String、Number、File、Functions、Classes、DateandTime、Regular...

2019-06-30 11:28:53

3大利器推荐,帮你写出规范漂亮的python代码

作者|奔跑的鳄鱼来源|菜鸟学PythonPython学了好久,但是拿出来review的代码好像总是长的不够俊美,不够工整!因此标准化的代码规范就显得尤为重要。今天就来推荐3个利器,python界广泛认同的代码风格规范PEP8和两个超牛的工具pylint和black,分别用于代码风格规范检测和自动优化。1代码风格规范PEP8首先讲一讲为什么要使用PEP8,我们先来看下...

2019-06-30 10:52:21

这才是你寻寻觅觅想要的 Python 可视化神器

翻译|Lemon来源|Plotly译文出品|Python数据之道(ID:PyDataRoad)PlotlyExpress入门之路PlotlyExpress是一个新的高级Python可视化库:它是Plotly.py的高级封装,它为复杂的图表提供了一个简单的语法。受Seaborn和ggplot2的启发,它专门设计为具有简洁,一...

2019-06-27 21:29:31

Python数据可视化:25年GDP之变

作者|小F出品|法纳斯特Python数据可视化:25年GDP之变说实话,这一期起的有点标题党了。用到的Python知识并不多,只是利用Python对数据进行规整。最多的应该是用大佬造的轮子,基于D3.js的数据可视化项目。附上大佬的GitHub地址,有兴趣的小伙伴可以自行去围观。https://github.com/Jannchie/Histo...

2019-06-27 21:17:03

【开源Python爬虫】微信公众号爬虫weixin_crawler开源啦

作者|抽丝剥茧出品|爱迪斯微信公众号爬虫weixin_crawler开源啦正式介绍weixin_crawler之前,我准备了两个问题,这两个问题通过weixin_crawler自带的报告和搜索指数都能得到回答。题1:高考在每年的几月举行?有无数种方法可以知道这个问题的答案。鉴于手头有60个公众号的全部发文数据,...

2019-06-27 21:12:03

Python 协程 asyncio 之 ABC

作者|cxapython出品|Python学习开发Python协程asyncio之Coroutines,TasksandFutureCoroutinesandTasks属于High-levelAPIs,也就是高级层的api。本节概述用于协程和任务的高级异步api。CoroutinesCoroutines翻译过来意思是协程,使用...

2019-06-27 21:02:41

python 数据可视化利器 plus

推荐数据可视化的库有挺多的,这里推荐几个比较常用的: Matplotlib Plotly Seaborn Ggplot Bokeh Pyechart Pygal

2019-06-27 20:58:21

用Python自动化生成爱豆日历

本次内容有感于《Python编程快速上手-让繁琐工作自动化》。根据书中的「处理Excel电子表格」章节内容,做出一份专属日历。使用的模块为openpyxl,一个能读取和修改Excel电子表格的Pyhton模块。实现自动化处理表格信息,摆脱无趣无味。此外还有calendar模块,通过该模块生成日历信息。最后利用openpyxl和calendar库,实...

2019-06-27 20:46:02

60行代码爬取知乎神回复

60行代码爬取知乎神回复知乎神回复都有些什么特点呢?我们先来观察一下大家看出什么规律了么?短小精辟有没有?赞同很多有没有?所以爬取知乎神回复我们只要爬取那些赞同多又字数少的回答就可以。简单的两个步骤就能实现,第一步爬取知乎回答,第二部筛选回答。是不是很easy?爬取知乎回答第一步我们爬取知乎上的回答。知乎上的回答太多了,一下子爬取所有的回答会很费时,我们可以选定几...

2019-06-26 21:58:58

数据解读广大“钢铁直男”眼中的女神评判标准

去聊懂球帝上的“女神大会”专栏,作为一个大型“钢铁直男”聚集地,“懂球帝”上对各位女神的评分,对广大“钢铁直男”群体也具有一定代表性。数据来源目前女神大会更新至了第90期,总共出场了90位女神,界面如下:我们通过fiddler获取该界面中女神的照片地址以及每一篇文章的id编号,用于之后的爬取和可视化,代码如下:importjsonimport...

2019-06-26 21:56:38

一行代码搞定 Scrapy 随机 User-Agent 设置

作者|苏克1900来源|第2大脑一行代码搞定Scrapy随机User-Agent设置摘要:爬虫过程中的反爬措施非常重要,其中设置随机User-Agent是一项重要的反爬措施,Scrapy中设置随机UA的方式有很多种,有的复杂有的简单,本文就对这些方法进行汇总,提供一种只需要一行代码的设置方式。最近使用Scrapy爬一个网站,遇到了网站反爬的情况,...

2019-06-26 21:46:26

Python调用高德地图API实现经纬度换算、地图可视化

作者|糖甜甜甜出品|经管人学数据分析Python调用高德地图API实现经纬度换算、地图可视化前地图可视化的工具和函数比较多,但是在不知道相关地点经纬度的情况下,通过python调用高德地图API实现经纬度换算,并且直接在高德地图新推出的轻量级可视化平台上实现一键式地图可视化,这其中需要申请密钥、批量经纬度换算、地图平台可视化操作等等。初始数...

2019-06-26 21:42:16

python可视化丨从1896年说起,用数据看 120 年奥运变迁

作者|小科出品|科赛Kesci可视化丨从1896年说起,用数据看120年奥运变迁1896年,雅典首次举办奥运会。一直到今天,奥运记录一遍遍被刷新,也从一度被嘲讽的比赛摇身变成国际最大的赛事之一。一百年沧海桑田,中国改革开放,而苏联被历史湮没……奥运会有什么变化呢?我们一起来探索。这次探索基于120年来奥运会运动员数据集,探索分析...

2019-06-26 21:37:31

轻松用 Seaborn 进行数据可视化

作者|MukulSinghChauhan译者|Lemon出品|Python数据之道(ID:PyDataRoad)轻松用Seaborn进行数据可视化摘要:本文属于Seaborn的基础教程,介绍了直方图、联合分布图、矩阵图、箱形图等,通过本文可以看出,使用seaborn可以轻松的进行数据可视化。『Python数据之道』已整合本文的相关...

2019-06-25 21:37:34

你真的会用Jupyter吗?这里有7个进阶功能助你效率翻倍

原作ParulPandey郭一璞编译量子位出品|公众号QbitAI作为一个超好用的交互式笔记本,Jupyter总是深受开发者的喜爱。不过,除了基础的写文档之外,其实Jupyter还有N多功能,简直是一个集视频、图片、PPT、多种交互于一身的万花筒。如果不会用,你可能错过了Jupyter99%的功能。Medium上走向数据科学(TowardsDataS...

2019-06-25 21:29:02
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!