- 博客(15)
- 收藏
- 关注
RSS订阅原创 清晰透彻的理解Python函数传参机制
对于刚入门的菜鸟来说，理解“形参”、“实参”、“按位置传参”、“按关键字传参”这几个概念后，就会暂停进一步的了解传参机制。这是难免的，毕竟“不限量传参”、“不限量按关键字传参”对于没有接触多少代码的新手来说还是挺晦涩的。现在如果你接触的够多了，就需要透彻理解一下了通过一个实例来说明不限量传参def describe(*infos): print('参数会是什么类型呢——',type...
2020-01-09 16:00:53
204
原创 轻松透彻地理解Python命令行
通常我们自己的简单项目并不会使用到命令行参数，完全可以用input()函数来实现交互。然而要是使用命令行参数来实现还是蛮炫的。首先我们先脑子里过一遍命令行参数的信息流，再去看具体的操作：命令行窗口键入python xxx.py arg1,arg2,grg3操作系统会将参数传递给python的某个特殊对象持有我们需要在xxx.py脚本中设计python脚本需要什么参数，这些操作系统传过...
2020-01-08 21:39:28
350
原创 深入理解BeautifulSoup
我生也有涯，而知也无涯，以有涯随无涯，殆矣!——庄子如同Python的所有库一样，BeautifulSoup易于上手，想要如臂使指却要下一番功夫。我们不妨通过一个例子来细细品味几个有趣的细节，来看看我们是否真的了解了BeautifulSoup。初识——BeautifulSoup通过将html文档解析成文档搜索树来实现高效搜索BeautifulSoup总结下来两种搜索文档树的方法最重要：...
2019-12-18 16:36:04
499
原创 聊聊Python数据序列化及其编码
编码就是信息在不同处理系统间流转时的某种基准，也就是写成文本文件或二进制文件的规则。我们讨论的重点是“写成文本”,不去管流媒体之类，我们处理的数据就是通过文本形式实现序列化的。import pandas as pddf = pd.DataFrame({'ID':[7801,7802,7809],'姓名':['钱谦益','乔安','王诗安'],'score':[54,67,78]})f...
2019-12-03 21:30:42
291
原创 深入理解Series和DataFrame
Series和DataFrame上手都很容易，但是深入理解一下还是有必要的——磨刀不误砍柴工嘛import pandas as pd我们以一个具体的例子来说明df = pd.read_clipboard()打开国家统计局网页，复制一个表格，然后读取粘贴板，easydf 指标 地区 数据时间 数值...
2019-12-01 14:25:38
785
原创 pandas Series/DataFrame 与 字典
很多东西回头看才能真正了解接触过mongodb、scrapy,现在再来学习pandas，我不知道是不是有人跟我一样对这些第三方库的操作方式感到惊艳的同时，也对python的熟悉度产生了自我怀疑。索性的是，这时候我看到了dict like这个词，所以复习了一下，结果豁然开朗。Python 字典(Dictionary)虽说“值可以取任何数据类型，但键必须是不可变的，如字符串，数字或元组”，但...
2019-11-30 16:23:00
2067
原创 MongoDB在Python中的使用技巧
学会pymongo模块的使用就是学会了mongodbimport pymongo1.连接数据库服务器,获取客户端对象mongo_client=pymongo.MongoClient('localhost',27017)2.获取数据库对象db=mongo_client.myDBdb=mongo_client['myDB']3.获取集合对象my_collection = db....
2019-11-15 19:04:37
172
原创 scrapy爬取漫画
项目提要主要知识点scrapy中设置代理IPscrapy架构中从一个组件向另一组件传递特定信息，譬如本文所说的目录名settings文件需要处理的事项爬虫目标网上有一部漫画挺好看，手机浏览总是需要刷新浏览器——不友好啊，干脆我们把它爬取并存储到本地，即使以后收费了我们照样看。这部漫画叫《一人之下》使用框架scrapy工作流程分析网页我们可以看见从章节目录页爬取章节U...
2019-06-30 17:30:49
2748
原创 Python最简单的爬虫脚本
正则表达式、lxml、BeautifulSoup统统都用不上状况也是存在的，如果响应类型是json的话。试着顺下面代码的思路对照下豆瓣电影的 request——response互动"""topic:豆瓣是异步加载的，更神奇的是response的内容是json，我试着抓取author:小灵子date:2019-6-4"""import requestsimport timedef...
2019-06-04 20:42:30
11393
原创 Python爬虫之XPath
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高XPath，全称XML PathLanguage，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索 XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值...
2019-06-02 10:18:38
527
原创 Python爬虫简单统计网页数据
爬取“豆瓣电影”网页数据并进行简单统计练习知识点：requests模块、get方式请求正则表达式、清洗数据统计数据代码中有详细注释，细节不再赘述"""topic:爬取豆瓣电影数据，做一下简单分析author:小灵子date:2019-5-31"""import re, requests"""https://movie.douban.com/j/chart/top_l...
2019-06-01 10:44:02
2377
原创 Python爬取网页数据示例
使用requests库使用re模块清洗响应数据从便民网站爬取常用电话，并将其写入文件，以便查询代码如下："""topic:爬取“便民查询网上的常用号码”author:小灵子date:2019-5-31思路：先从开发者工具找到相应请求头、url等等<tr bgcolor="#EFF7F0"> <td>匪警</td> ...
2019-05-31 18:47:46
2705
原创 pip 详解
玩转Python包/模块的安装pip是一个安装和管理 Python 包的工具。python安装包的工具有easy_install, setuptools, pip，distribute等，pip是Python官方推荐的包管理工具基本上我们只会用到pippip是什么下面是一些无趣的前奏知识：pip是安装扩展模块、第三方包的最好途径pip是.exe应用程序，Python自带，Wind...
2019-05-09 12:59:19
2211
原创 一个极致简单优雅的生命游戏，由Python实现
Python实现的可以控制台运行，不过最好还是使用Windows的PowerShell，我觉得这个选择对初学者很棒生命游戏的规则来自百度搜索，从代码中清晰感觉到，不再赘述。至于说收敛的问题，这里也不讨论。如果有好的建议，请告诉我简单优雅的生命游戏PowerShell运行'''生命游戏的Python实现，采用原始的shell演示Author:王平Date：2019-5-7'''...
2019-05-08 15:49:47
589
原创 对Python中的yield的用法体会
Python中的yield的骚气用法Did they move long enough to yield a vector?----美剧《24小时》中的一句台词yield字面意思就是“生成”，作用也确实如此yield是个独特的关键字，跟return没有任何关系yield用起来很方便，使用它就是告诉Python解释器给我实例化一个<class ‘Generater’>yi...
2019-05-08 15:24:53
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人