- 博客(83)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hive执行Python脚本错误解决【return code 20003】
Hive执行Python脚本错误解决【return code 20003】
2022-03-28 15:55:12
4649
原创 JS逆向案例 | CryptoJS模块破解加密字符串
目录一、寻找加密源码二、引入CryptoJS模块三、Python解密四、全部代码本次爬取仅供学习交流，无任何商业用途，目标网址已做脱敏处理！目标网址：aHR0cDovL2p6c2MubW9odXJkLmdvdi5jbi9kYXRhL2NvbXBhbnk=一、寻找加密源码抓包分析可知，原数据已被加密成长串字符。之前的博客已分析过，这种可能是JSON加密过的。因此，搜索Json.parse函数，最终定位到JS文件如下所示跟进JS文件后，继续搜索Json.parse，最终定位到935行，在此打断点刷新
2022-03-22 11:42:37
3617
原创 数据分析实战（五）基于R语言的Kmean聚类分析实战
目录1、数据爬取2、数据预处理3、Kmeans聚类分析1、数据爬取2、数据预处理3、Kmeans聚类分析
2022-01-19 16:03:32
6555
4
原创 R语言(四) 自定义设置x轴时间刻度值
主要内容：R语言绘制时序图时，自定义设置x轴时间刻度为天/周/月数据介绍：北京市2020年5月1日至2020年7月31日空气环境质量指数目录plot函数绘制ggplot函数绘制plot函数绘制主要思想：删除原有标签，自定义新的时间间隔数据即可1、设置x轴时间间隔为一周data<-read.csv('aqi_data.csv')data$date<-as.Date(data$date)x_label<-seq(from=as.Date("2020-05-01"),to=as.
2022-01-14 11:45:00
15181
2
原创 Stata计算莫兰指数基本步骤
之前的博客有介绍过R和Geoda计算莫兰指数的方法，考虑到有时候我们需要自定义空间权重矩阵来计算莫兰指数，那以上两种方法显得有点复杂。所以，今天来分享Stata计算莫兰指数的方法~目录一、数据准备1.1 数据导入1.2 程序包下载二、导入权重矩阵三、莫兰指数计算3.1 全局莫兰指数计算3.2 局部莫兰指数计算四、莫兰指数图全部代码一、数据准备1.1 数据导入本次案例使用的数据为15-19年全国的人均GDP，数据图如下：Stata中导入数据的方式十分便捷，通常可以分以下两种：打开数据编
2021-11-27 11:56:56
42407
53
原创 Python爬虫实战（十四）爬取某公众号web端历史所有文章介绍
目录一、数据接口介绍二、爬虫分析三、全部代码一、数据接口介绍二、爬虫分析三、全部代码
2021-10-04 14:25:16
1391
2
原创 Python爬虫实战（十三）Post请求中Payload处理分析—以某素材分享网为例
目录一、二、实战演练三、全部代码参考文章一、二、实战演练三、全部代码参考文章
2021-10-03 15:26:02
5574
4
原创 Python计算经济距离权重矩阵
前情回顾：空间权重矩阵一年前的博客介绍了基本权重矩阵的定义，今天在其基础上分享Python构建的方式目录一、经济权重矩阵定义二、数据准备三、全部代码一、经济权重矩阵定义当然，这里YiY_{i}Yi和YjY_{j}Yj可以根据实际研究的需求进行调整，例如替换为贸易量、进出口总额等其他指标二、数据准备数据集的样式如下，第一列为省份名，第二列为计算指标，这里为某段期间内人均GDP的平均值三、全部代码import pandas as pdimport math#经济距离矩阵构建dat
2021-09-25 11:21:47
10058
23
原创 因子分析模型R语言实现
目录一、模型介绍二、分析步骤2.1 KMO检验和Barlette检验2.2 确定公因子个数2.3 正交旋转2.4 因子得分更多一、模型介绍二、分析步骤2.1 KMO检验和Barlette检验2.2 确定公因子个数2.3 正交旋转2.4 因子得分更多以上初步介绍了因子分析的基本过程，后续会将多个年份的批量因子分析代码分享给大家~...
2021-06-20 18:07:43
32802
37
原创 Python VS R | 批量处理EXCEL年终报表
前情回顾：五分钟学会四种宽数据转长数据方法在之前的博客中，我们分享过宽数据转长数据的四种方法。今天，就以一个具体案例来介绍一下宽数据转长数据的实际应用吧目录案例基本需求介绍与分析Python版本R版本案例基本需求介绍与分析Python版本R版本...
2021-03-27 15:05:28
591
原创 Python VS R | 增删查改数据框
在Python和R中，数据框可谓是使用最频繁的数据结构之一。但二者对于数据框的操作是存在一定差异的，稍加不注意，就容易弄混，今天就对此进行总结。目录一、数据框创建二、增减列字段三、数据筛选一、数据框创建二、增减列字段三、数据筛选...
2021-02-24 16:14:37
562
原创 JS逆向进阶案例 | 破解加密JSON字符串数据
目录一、抓包分析字段来源二、寻找加密源码三、完善JS代码一、抓包分析字段来源二、寻找加密源码三、完善JS代码
2021-02-20 16:06:05
2741
2
原创 JS逆向必会基础案例 | 百度翻译参数破解
前情回顾：有道翻译参数破解在上一篇博客中，我们系统地分析了有道翻译的JS逆向过程。不难看出，JS逆向其实就是用Python重新来复写Javascript的代码。但当JS代码很长时，弄懂里面的逻辑关系就相当耗时，这时就需要execjs库来帮忙了(它是一个可以执行JS代码的Python库)，今天就以百度翻译的参数破解为例进行说明。目录一、分析参数构成二、Python执行JS代码三、完善JS代码一、分析参数构成二、Python执行JS代码三、完善JS代码...
2021-02-19 20:51:29
1352
3
原创 B站爬虫与数据分析汇总篇 | 目录索引
关于B站的爬虫以及数据分析，我们已经分享了好几篇啦~这里做个汇总，所有博文链接如下，持续更新~序号博文标题1Python爬取B站弹幕+Gephi绘制人物画像2B站热门视频信息爬取（小白版)3B站热门视频信息爬取（简易版）4B站热门视频信息爬取（复杂版）5B站热门视频信息爬取（窗口版）6我用Python分析5W+视频信息，看看谁才是最咕UP主7改进版RFM模型挖掘B站动画区优质UP主...
2021-02-05 16:46:48
2191
原创 Python爬虫实战(十一) B站热门信息爬取（窗口版）| Tkinter实现GUI交互式界面
目录一、爬虫分析二、Tkinter界面构造思考与优化一、爬虫分析二、Tkinter界面构造思考与优化
2021-02-04 10:36:03
4874
17
原创 Python 一键获取市县级城市经纬度信息
目录一、数据来源二、全部代码三、使用介绍3.1 获取全省所有地级市经纬度信息3.2 获取全省所有区县经纬度信息一、数据来源二、全部代码三、使用介绍3.1 获取全省所有地级市经纬度信息3.2 获取全省所有区县经纬度信息...
2021-01-26 17:31:32
4653
5
原创 可视化实例（三）Tableau基础绘图介绍——横向条形图、双轴折线图、直方图
目录一、Tableau常用功能区二、条形图三、折线图四、直方图一、Tableau常用功能区二、条形图三、折线图四、直方图
2021-01-21 10:52:51
5832
原创 我用Python分析5W+视频数据，看看谁才是最咕UP主
前情回顾：1、爬取bilibili热门视频信息(简易版)2、爬取bilibili热门视频信息(复杂版)目录一、数据来源及介绍二、UP主用户行为分析三、最热题材分布四、预测视频播放量一、数据来源及介绍本次共爬取二、UP主用户行为分析三、最热题材分布四、预测视频播放量...
2021-01-19 10:50:25
3871
6
原创 Python爬虫实战(一) QQ音乐评论爬取及可视化分析
说好不哭呢？python爬取5000条QQ音乐评论并进行数据分析爬虫也快学了一个月了，今天就来分享一下QQ音乐的实战例子吧。以周董的《说好不哭》为例：首先打开QQ音乐，搜索说好不哭。找到评论区后，使用谷歌浏览器的检查功能，发现评论区的内容是被封装在json中的，如下图所示：新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如...
2021-01-16 10:29:04
13592
21
原创 可视化实例（一）基于R语言的全球疫情可视化
目录数据介绍新增确诊病例变化趋势新增确诊病例地理分布累计确诊病例动态变化图数据介绍新增确诊病例变化趋势新增确诊病例地理分布累计确诊病例动态变化图
2020-12-30 11:33:15
10934
16
救救孩子吧！！为啥爬取淘宝评论的时候，返回的json数据中关键元素是0啊？
2019-11-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人