- 博客(14)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Python爬取360手机助手评论——以百度地图为例
想做竞品分析，打算先从应用市场爬一些应用的用户用户评论作为素材；这次爬取的是360手机助手网站，结尾附爬取完的百度地图和高德地图的用户评论文件~网页链接：http://zhushou.360.cn/detail/index/soft_id/7655?recrefer=SE_D_%E7%99%BE%E5%BA%A6%E5%9C%B0%E5%9B%BE#nogo以中评为例 ，打开f12开发者模式，...
2019-10-15 15:19:13
1026
1
原创 python3中的map()、reduce()、zip()与zip(*)函数
map、reduce、zip三个函数可以用在不同需求下的需要迭代或循环进行的功能中。1、map()语法：map(function, iterable, ...)map函数的参数是由function和一个或多个序列组成，map运行机制就是对序列部分使用function进行处理并返回结果。python2与python3中的map函数略有不同，python2返回的是列表，python3返回的是...
2019-03-22 00:53:25
920
原创 MySQL基础笔记——排序查询
主要语法： select 查询列表 from 表 【where 筛选条件】 order by 排序列表 asc（升序）|desc（降序）特点：（1）asc代表升序，desc代表降序，默认是升序排列（2）order by语句支持单个字段、多个字段、函数、别名、表达式查询（3）order by语句一般放在查询语句最后面（where子句后面），limit除外查询...
2019-03-21 11:11:55
195
原创 python转换时间格式提取时间信息
最近处理数据时需要从csv的时间单元格中分别提取此日期的星期几、小时、分钟等信息，整理了两种思路，记录一下。使用time库中的time.strptime使用pandas库中的pd.to_datetime1、使用time库中的time.strptimestrptime可以根据指定的格式把一个时间字符串解析为时间元组。语法：time.strptime(string[, format])...
2019-03-21 10:18:00
6707
原创 MySQL基础笔记——条件查询
进阶查询（一）：条件查询语法：使用where关键字SELECT 查询列表 FROM 表名 WHERE 筛选条件按条件表达式筛选：条件运算符 > < = != <> >= <=(SQL语句的不等号一般写为<>而不用！=)按逻辑表达式筛选：逻辑运算符 and or not(3)模糊查询： like 、between and、i...
2019-03-20 00:14:35
234
原创 MySQL基础笔记——基础查询
DQL语言DQL语言即Data Query Language,数据查询语言主要涉及函数为select1.使用示例数据库 myemployees.sql学习DQL语言基础查询：select 查询列表 from 表名;(1)查询列表内容包括表中的字段、常量、表达式 (2)查询的结果可以是一个虚拟表格 (3)使用F12对DQL语句快速进行格式化，F9运行代码 查询多个...
2019-03-19 15:56:21
285
原创 python实现高德POI点（GCJ-02）火星坐标批量转换为WGS84
最近整理项目的时候发现了之前用过的火星坐标转WGS84坐标的python代码，记录一下。火星坐标GCJ-02（G-Guojia国家，C-Cehui测绘，J-Ju局），又被称为火星坐标系，是一种基于WGS-84制定的大地测量系统，由中国国测局制定。此坐标系所采用的混淆算法会在经纬度中加入随机的偏移。国家规定，中国大陆所有公开地理数据都需要至少用GCJ-02进行加密，也就是说我们从国内公司的产品中...
2019-03-17 17:41:52
8627
20
原创 爬虫基础学习笔记——HTML
爬虫基础概念之HTML学习1、HTML 超文本标记语言HTML页面中，所有内容都包含在一对标签内，标签之间可以嵌套，标签和标签对应的内容共同组成HTML页面。 标签定义的内容元素称为节点，节点的相互嵌套形成了网页的结构，称为HTML DOM树。DOM是W3C的标准，即文档对象模型，定义了访问XML和HTML文档的标准，HTML DOM就是针对HTML文档的标准模型。 根据W3C的HT...
2019-03-09 21:28:30
278
原创 R报错“package ‘****’ is not available (for R version 3.5.2) ”通过改变镜像解决
最近用RStudio学习R语言，安装数据包的时候总是报错：package ‘****’ is not available (for R version 3.5.2) R报错机制比较粗糙，只要是有错误都会说版本问题。。其实错误可能有很多种情况，先记录两种：1、镜像问题在RStudio菜单的Tools>Global Options>Packages中，有一个CRAN mir...
2019-02-21 23:25:04
50094
6
转载 Python中copy()、deepcopy()与赋值的区别(浅复制、深复制)
转载自：https://blog.csdn.net/u011630575/article/details/78604226 copy()与deepcopy()之间的主要区别是python对数据的存储方式。首先直接上结论：—–深复制，即将被复制对象完...
2019-02-17 19:37:59
789
1
原创 pandas中df.iloc函数应用
pandas.df.iloc函数官方文档定义为“基于整数位置的索引，用于按位置进行选择。”（官方文档http://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.iloc.html#pandas.DataFrame.iloc）啥意思呢，意思就是iloc函数只根据行列号对数据进行切片或选择，与loc函...
2019-02-17 11:34:53
22756
原创 Python中的eval（）函数
eval()函数又称为评估函数，作用是去掉参数中最外层引号并执行剩余语句。划重点：只去掉最外层引号eval()的参数形式为字符串或字符串变量，在程序中可以将字符串形式的输入值转化为数字进行计算。更广泛的应用是将任意字符串形式的输入值转化为Python可处理的语句。eval函数的参数必须为字符串，否则将报错：TypeError: eval() arg 1 must be a string...
2019-01-27 11:42:17
20179
原创 pandas pd.cut()与pd.qcut()
1、pd.cut函数有7个参数，主要用于对数据从最大值到最小值进行等距划分 pandas.cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False)参数：x : 输入待cut的一维数组bins : cut的段数，一般为整型，但也可以为序列向量。right :...
2019-01-21 20:34:31
15224
原创 numpy.random函数应用（持续更新）
1、numpy.random.randint默认包含low、high、size和dtype四个参数。numpy.random.randint(low,high,size,dtype)默认参数 high是None，如果只写参数low，那随机生成数的范围为就是[0,low)。默认size为1。df = np.random.randint(50,size=10)#生成[0,50）的长度为...
2019-01-15 22:12:31
145
百度地图与高德地图用户评论Python爬取结果.zip
2019-10-15
python 爬取php页面信息返回内容为空
2019-04-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人