- 博客(112)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 《数据分析思维与实战23讲》之思维导图合集（更新）
掌柜最近在整理关于数据分析思维课程的知识点，全是用的思维导图方式。现在整理到第七讲（因为前几天电脑坏了耽误了进度????，不然是已经到十讲），后面会持续更新这篇博客，有需要的朋友请自取????！《数据分析思维与实战23讲》总结之思维导图系列数据分析的基础技能01 | 如何解决临时提数需求[02| 如何搞定BAT大厂的数据分析项目](https://github.com/Amberjay18/DataAnalysisThinkingMindMap/tree/master/DataAnalysisThinki
2020-08-03 17:10:31
1745
5
原创 我的创作纪念日
PS：当然上面的解决办法是当下情境下的对应解决办法，并不一定能解决所有类似的bug。所以当上面的技术博客不能解决你的bug的时候，你可以按照我的思路来类推一下，说不定就能解决你的bug。PS：当然上面的解决办法是当下情境下的对应解决办法，并不一定能解决所有类似的bug。所以当上面的技术博客不能解决你的bug的时候，你可以按照我的思路来类推一下，说不定就能解决你的bug。PS：当然上面的解决办法是当下情境下的对应解决办法，并不一定能解决所有类似的bug。
2024-03-21 21:27:07
640
原创 浅析“04.23王者荣耀KPL比赛因出现硬件异常导致比赛延期”这一事件
时间回溯（Time Travel）是一种技术，通常用于调试和测试程序，以便程序员可以在程序出现问题时快速找出问题所在，并进行修复。
2023-04-24 16:51:26
1035
1
原创 Windows10下安装CUDA和PyTorch跑深度学习中遇到的一些问题汇总（二）
今天继续昨天未完成的安装步骤，遇到的第二个问题：在miniconda的shell里安装pytorch的gpu版本时，出现Read timed out的报错。很熟悉Python的朋友应该知道这个报错是因为下载源在国外，所以国内下载经常会出现timed out（超时）的报错。解决办法一般都是找国内的镜像源替换即可。为了验证掌柜的想法，于是搜了一下类似提问，找到类似的解法，确实是替换为国内清华的镜像源就可以解决。不过那个解决办法是Linux系统，掌柜这里是Windows系统，所以改了一下下载地址为这个：
2022-05-16 20:08:29
462
1
原创 Windows10下安装CUDA和PyTorch跑深度学习中遇到的一些问题汇总（一）
最近抽空在学习李沐大佬的 《动手学深度学习 PyTorch版》B站 课程，在安装这一节，遇到一些问题。这里记录下来并给出相应的解决办法，希望对后面学习的朋友也有帮助。在一步一步跟着李沐大佬给出的Windows下安装CUDA的步骤时，双击解压下载好的CUDA 11.7应用程序的时候：遇到第一个问题：没有确认自己的电脑显卡CUDA版本，下载了错误的驱动。于是解决的办法就是，先去查看自己电脑的显卡CUDA版本，再去NVIDIA官网下载对应的版本。那么问题又来了， 如何查找自己电脑的显卡CUDA版本？ 具体
2022-05-15 21:13:40
1040
原创 Pandas 根据一张DataFrame的两列数据对另一张DataFrame的多列值进行批量替换
背景掌柜最近在做王者荣耀2022KPL春季赛的赛事数据分析，下表kpl是从官方数据平台获取到的2022KPL春季赛常规赛近500场的赛事数据：这里大家可以很明显的看到team_bh和team_ph两列下面都是一堆数字，其实它们分别代表的是王者荣耀里面的各个英雄。下表code就是掌柜整理的2022KPL春季赛常规赛登场的所有英雄和对应的数字编码：问题将kpl表中的team_bh和team_ph两列数据进行拆分，分别得出每个战队ban（禁用）的四位英雄和pick（选用）的五位英雄；对拆分后的禁用
2022-04-25 19:07:06
4357
1
原创 UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xb1 in position 0: invalid start byte的解决办法
今天在读取一个从国家统计局下载的csv表格的时候遇到如上报错：一看就知道是字符编码问题，但是到底要编码成哪种格式才是正确的呢？ 掌柜搜了一下相关问题的解决方案，发现高赞给的答案是下面这个：于是掌柜尝试过后发现并不能完全解决问题。。。????在Provinces这一列还是出现的乱码。。。然后掌柜突然反应过来，Province这一列都是中文，一般中文编码都是用的gbk，所以应该是encoding = ‘gbk’ 才对吧。带着这样的想法填入后，再次运行，成功加载出全国各省近5年的GDP数据！总结：所
2022-01-04 20:06:16
7910
1
原创 “利用ARIMA模型对时间序列进行分析的经典案例（详细代码）”一文中会遇到的问题总结（二）
最近又有好些朋友来咨询掌柜关于使用ARIMA模型对时间序列进行预测的????这篇博客 中遇到了一些问题，这里掌柜再次收集大家的问题来一一解答。PS: 本博客假定大家已经具备ARIMA模型的基础知识！！！问题汇总如下：怎么判断我的数据是否适合ARIMA模型呢？得到的时序预测图是负值，明显不对。怎样保证为正值？想要最后预测的数据，而不是预测的平稳数据，怎么拿到？想获取预测点的值应该怎么做的，没有API接口呀，可以告知一下吗？不需要做ADF检验吗？怎么确定ARMA的最优模型？还原到原始时间序列
2021-11-24 17:39:37
6303
5
原创 牛客题霸之算法篇 ---＞ 题解合集
最近掌柜没怎么更新博客，是因为在给牛客题霸的算法篇写题解，正在这块有需求的朋友可以看看，希望这些题解可以帮助大家在学习数据结构和算法这块更容易通关！????题解合集????剑指Offer 和算法篇专栏...
2021-09-09 12:35:36
184
原创 三一数据应用大赛之逾期风控预测比赛的总结
前段时间参加了三一的这个逾期风控预测比赛（以下简称“风控”），今天看私榜成绩发现居然还提升了27名！????（虽然依然菜的一批????，离入围决赛差了0.03。。。）不过有进步就还是很惊喜！因为公榜还只是64名????。现在对整个比赛进行一个回顾。（PS: 由于官方保密规则，这里不会提供原始数据, 谢谢理解！）（PPS：这里主要是思路的整理，欢迎大佬分享更优的思路或解法；如果发现有错误的地方，欢迎指出。 ????）比赛整个流程????：1. 明确赛题任务2. 数据清洗3. EDA数据探索4
2021-07-02 16:50:13
473
6
原创 利用SARIMA模型对季节周期性的时序案例进行分析（一）
看过掌柜前几篇关于时序文章：利用ARIMA模型对时间序列进行分析的经典案例（详细代码）“利用ARIMA模型对时间序列进行分析的经典案例（详细代码）”一文中会遇到的问题总结ARIMA模型预测后出现一条直线的原因的朋友都知道在最后一篇掌柜遗留了一个问题，就是已确定当前的时序数据具有季节周期性，那么如何解决这类时序数据并进行预测分析呢？本文掌柜将从以下几个方面一一作答：SARIMA模型是什么？Python是如何使用SARIMA模型进行时序分析的？（SARIMA模型的步骤有哪些？）SA
2021-06-01 20:54:19
29567
47
原创 Leetcode题解之database（十三）1777. Product‘s Price for Each Store
从今天开始解锁 力扣《数据库》的VIP题目，还是按照由易到难来题解。今天要看的就是第 1777题????Product’s Price for Each Store（每家商店的产品价格）。此题主要考察知识点： 三个字???? 行转列！ 具体到方法就是 CASE WHEN / IF 和 聚合函数（SUM、MAX等）的使用。解题思路????：由上图题目的示例Products 表和Result 表可很明显的看出来，Products表的store 列值变到了 Result表的不同行，这就是很典型的 行转
2021-04-20 20:12:36
491
原创 利用np.select对excel 每一行数据的某几列(多列)进行条件筛选并生成新一列数据的方法
还是最近的那个项目，最后收尾阶段遇到这样一个问题：根据表格每一行某几列的数据进行条件筛选后并生成新的一列数据。像下面这个示例一样????：需要根据每一行的“ 生日”，“地址”，“保险”是否有值来生成新的一列字段，比如叫“完整度”字段。就拿王佳来说，因为他的 “保险”字段是空值，但是“地址”和“生日”有对应的值。那么最后新字段 “完整度”这里就要填入 “比较完整” 四个字。同理，李明的“完整度” 就应该是“很完整”；胡曦就是“不完整”；最后章杰就是“很完整”。看起来是个比较简单的多列条件筛选问题，
2021-03-11 21:19:46
1909
2
原创 pandas将excel中多行多列单元格含有多个值拆分为一对一单行显示的方法（explode函数）
最近接了一个私人项目，今天在处理项目中数据的时候遇到这样的一组数据(数据已经处理过，只为示例）：看掌柜用红色框住的两处，可以发现该多行单元格里不止一个值在里面，而且该数据集不止一列是这样的情况。。。如果你熟悉pandas的用法，肯定会第一时间说???? “用explode方法”。没错，确实可以用该方法处理单元格里面含有多个值的情况；但是官方只给出了处理单列的示例！！！（我们可以回顾一下pandas的官方exploded的用法和相关示例操作????）看到没，官方的解释是该方法可以复制索引值并转换像列
2021-02-26 20:19:43
2580
原创 Leetcode题解之database（十二）607. Sales Person
此题确实简单，解题思路：找到不属于RED公司的员工id，就可以找到对应的员工name。但是一开始掌柜进入了一个思维的误区：以为只要是com_id = 1 的公司就是’RED’公司。。。于是提交了如下查询语句就华丽丽的出错了！其实实际测试案例中会有 com_id = 2的公司才是RED公司情况。。。所以这里的筛选条件应该是公司的名字即 name = ‘RED’ 才对！！！（看了一下评论区也有好些跟掌柜一样进入误区的????）但是你看 order 表里面没有name这个字段，因此需要先
2021-01-27 18:58:29
374
原创 Leetcode题解之database（十一）512. Game Play Analysis II
掌柜又回来了????今日带来????512. Game Play Analysis II （游戏分析Ⅱ）的题解。首先看题目：解题思路????： 此题要求的是每个玩家第一次登录日期的玩家ID 和他的设备ID。 那么我们首先要知道 每个玩家第一次登录的日期（其实就是511题：游戏分析Ⅰ） 是什么时候？？？接着用前面每个玩家的日期作为筛选条件进行查询就能得到相应的玩家ID 和 设备ID。思路还是比较简单的，下面提供几个参考的解法????：第一个解法：子查询和聚合函数。SELECT play
2021-01-26 20:16:33
257
原创 2020 CSDN的年度总结
2020马上要结束了， 看到大家都在回顾2020，掌柜这里也做个年度总结。最初掌柜开始写博客就是为了记录自己解惑的日常，没想到在2020居然有不少朋友关注了本博客，惊喜！虽然博客上面标记的是 “码龄3年”，但是真正开始全面接触编程是在2019年开始。所以只有两年，不过掌柜却通过不断的写博客回顾掌握了不少知识，这种每天都有新知识或解决一个bug的感觉真的不要太好????，2021希望继续保持下去。那么2020都学了哪些知识？这里按时间顺序（以季度来划分） 进行一个盘点。第一季度（1-3月）这段时间
2020-12-30 20:49:16
934
原创 ARIMA模型预测后出现一条直线的原因
最近又有朋友来询问为何他的时序数据用ARIMA模型后出现的是一条直线，像下面这样（截取部分数据显示）：仔细看，阴影部分是预测后的结果走势，这里是蓝色的直线？？？是不是很奇怪，为何这里会产生一条直线？起初掌柜也很是困惑，于是向这位朋友拿了全部数据来进行实测也是得到同样的结果。。。后来掌柜搜遍全网后研究一番，原来是这么回事！下面开始进行讲解。首先，使用ARIMA模型进行时序预测为何会出现是一条直线？解答：简单来说是因为你的时序数据中存在“季节周期性”（注：这里的季节性是泛指）特征。所以模型无
2020-12-23 21:15:44
21685
16
原创 “利用ARIMA模型对时间序列进行分析的经典案例（详细代码）”一文中会遇到的问题总结（一）
最近有好几个朋友在问关于这篇博客的多个问题????。这里掌柜打算做个总结，方便大家查阅。问题一：最后得到的时序预测是负值，怎样保证为正值？或者 如何还原原始序列以及用ARIMA对原始序列的一个预测？亦或遇到报错????“KeyError: 0 During handling of the above exception, another exception occurred：xxx”这三个其实都是问的同一个问题，即如何用ARIMA模型预测原始数据。这个问题一开始掌柜确实考虑掉了????，感谢评
2020-12-15 17:19:01
12828
6
原创 由一道牛客SQL题引发关于NOT IN 函数、MAX函数、MIN函数的思考
又是随手刷到一道牛客SQL题，这次是????查找排除最大、最小salary之后的当前(to_date = ‘9999-01-01’ )员工的平均工资avg_salary。此题其实不算难，一开始掌柜想到的解题思路如下：????首先找到最大最小工资，然后剔除这个数值；接下来筛选当前日期为’9999-01-01’ 的平均工资数据即可。但是这题其实又有点坑????，因为题意并没有明显说????要你在剔除最大最小工资那里也是筛选当前日期为’9999-01-01’ ！！！ 这个条件，所以如果你一开始没有get到
2020-11-26 21:16:30
655
6
原创 Leetcode题解之database（十）177. Nth Highest Salary
今天要解的是：177. Nth Highest Salary（求第N高的工资）。这里要注意这样一句话????：如果没有第N高的工资，就要输出NULL。首先看此题考察的知识点：IFNULL（判断空值）函数用法和LIMIT用法。其实这题可以说是???? 176. Second Highest Salary （求第二高工资） 的升级版。建议大家先看看第二高的题解会更易懂这题。解题思路????：此题要求第N高，那么重点就在N这个数字上。第一种情况，N不为0的时候：假如N=1，那就是第一高，
2020-11-12 20:50:10
308
原创 牛客SQL实战的18道简单题+Leetcode非VIP的12道简单题 总结
随手刷过力扣数据库题和牛客的SQL实战题，今天就对两边的简单题做个总结，让我们一起来看看对于SQL简单题常考的有哪些知识点以及题型吧。PS:如果分类区有漏掉的题，欢迎评论区补充，谢谢！常考知识点一：两表或多表连接，即????考察JOIN 、LEFT JOIN、RIGHT JOIN、INNER JOIN 的用法和区别。题型有：(PPS: 下面提到的题都是其中一种解法会用到这个知识点；此题也有其他解法可用 ）Leetcode ???? 175. 组合两表Leetcode ???? 181.
2020-11-04 19:04:43
343
原创 浅谈627. Swap Salary（交换工资）的题解区中的 位运算之 “异或运算”（一）
之前解析完Leetcode最后一道非VIP的SQL题 ????交换工资。其中最有意思的是有个解法使用了 “异或运算”，于是今天打算浅谈一下这个高效的方法。首先，什么是位运算的“异或运算”？其实这个运算全称是 “按位异或（英文叫eXclusive OR，简称 XOR)”，看过掌柜之前这篇博客的朋友应该都知道之前掌柜谈了位运算的按位与（&）运算。其实它还有另外几种（按位或（|）、按位取反（~）、左移运算 （<<）以及右移运算（>>）），还没遇到类似案例就暂不提，今天主要
2020-10-24 23:00:18
418
原创 Pandas如何跳过第一行和第一列将数据写入csv
今天刚好遇到这个情况，解决后来记录一下。操作很简单，只需要使用pandas的iloc方法即可。情景复现：已有数据的csv表格如下表格已有第一行表头和第一列数据，现在要在黄色框住区域添加新的数据。那么问题就变成如何跳过第一行和第一列将数据写入csv？ 的问题。下面看具体操作（掌柜就不bb，直接上代码啦）：import pandas as pddata = pd.read_csv('xxx.csv') data.iloc[0, 1:] = train #这里要写入的数据随意举例
2020-10-20 18:55:39
11569
1
原创 关于《滴滴数据仓库指标体系建设实践》中“如何搭建指标体系”部分的思维导图总结
刚刚读了一篇关于《滴滴数据仓库指标体系建设实践》????的文章，不得不说一下这是目前掌柜看到最全面的一篇讲指标体系搭建的文章????。这里分享过来，大家有空都可以读读全文看????。文章中主要谈论了5点：1. 指标体系是什么？2. 为什么要搭建指标体系？3. 如何搭建指标体系？4. 怎么管理指标体系？5. 指标体系产品化。这里掌柜主要对第三点 如何搭建指标体系？ 进行了一个思维导图的总结， 希望对各位有帮助：参考资料????：《滴滴数据仓库指标体系建设实践》...
2020-10-16 18:50:37
889
原创 Leetcode题解之database（九）627. Swap Salary
今天终于把最后一道普通用户可解的数据库简单题刷了，????627. 交换工资（评论里说应该叫交换性别？？????）。此题确实简单，不过要注意题目里面有这样一条要求：黑色加粗字体写明了：只能是单个更新语句且不能用select方法！！！所以此题其实考察的知识点????：UPDATE函数以及CASE WHEN函数的用法！下面来看解题思路：首先看题目要求，是要把sex这一列的f 和m 值进行互换，来达到交换工资的目的；那么就要对数据表进行一个更新，所以第一个要用函数就是UPDATE …SET … 方法
2020-10-14 19:06:22
1752
9
原创 如何根据自相关（ACF）图和偏自相关（PACF）图选择ARIMA模型的p、q值
这两天有朋友在之前????这篇文章 ????里面评论询问如何通过自相关（ACF）和偏自相关（PACF）图找到p、q值？下面掌柜就详细阐述一下。PS：这里假设你已经知道AR、MA、以及ARIMA模型是什么。首先，使用ARIMA模型拟合一组（非季节性）时间序列数据时，一般的流程如下图（掌柜网上找的，侵权可删）：由第4步，我们可以知道差分数据的自相关（ACF）和偏自相关（PACF）图是用来确定所有候选模型的。其次，该如何用ACF和PACF图找所有可能的候选模型呢？这里可能的候选模型有MA模型和
2020-09-30 21:50:14
118631
37
原创 打开Jupyter notebook出现了大大的500：Internal Server Error的解决办法
前提：云服务器操作系统为 CentOS 7.5 64位Jupyter notebook 作为容器远程运行在Docker中起因：今天打开Jupyter notebook 打算进行数据分析的时候，突然出现这么大大的一个500命令????：掌柜就琢磨这是怎么一回事，怎么昨天才好好的今天就报错？后来突然想起来昨天有进行过安装包升级的操作。。。难道又是安装包的兼容性导致的？错误排查过程：为了验证这一想法，掌柜去docker里面找到该容器的日志进行查看，输入如下命令：docker
2020-09-14 19:00:15
11403
8
原创 如何读取大型（超1G）的CSV文件到一个DataFrame里面的方法
这两天掌柜遇到要一次读取多个大型（都基本超过1G）的CSV文件到单个DataFrame里面的操作，这里做个总结，希望对有同样需求的朋友有帮助！下面直接看案例吧????除了一个小于1G的csv文件，其余都大于1.3G????。。。好了，现在掌柜要一次读取这10个大型csv文件到DataFrame中。第一种：使用chunksize模块。...
2020-09-13 20:46:50
9973
2
原创 Jupyter notebook读取大型csv文件遇到The kernel appears to have died. It will restart automatically的错误原因排查
在用pandas读取大型（都几乎是超1G）的csv文件，发生了如下报错：搜了一下，第一种发生原因：安装包版本问题。所以解决办法：pip install -U numpy（好一部分朋友表示这个有用）conda install nomkl（少部分朋友表示这个有用）conda update anaconda/ mkl（一部分朋友表示这个有用）但是这些都不适用掌柜这里，后来又查了一下。第二种发生原因：容器分配的内存不足导致。 解决办法：修改容器内存配置。docker update
2020-09-08 20:38:14
2477
2
原创 TypeError: fit_transform() takes 2 positional arguments but 3 were given的解决办法
今天在用ColumnTransformer方法对数值变量和非数值变量进行合成转换的时候，掌柜选择对其中的类别特征用LabelEncoder()方法，结果出现报错如上????。但是换成OneHotEncoder（独热编码）就成功运行。于是疑惑 为什么会出现这样的情况？ 一搜发现Stackoverflow上面也有同样疑问的朋友，结合两位答主回答：发现两个主要的原因为什么不适合用LabelEncoder()：因为LabelEncoder()的transformer是用来编码目标变量(y)（可参见官方
2020-08-20 20:38:47
19456
原创 记录一次关于 No module named“ xgboost“的排错过程以及另类解决办法
还记得之前掌柜不是刚刚安装了Jupyter notebook来远程访问，解决了本地容易出现Jupyter安装包环境冲突的问题。然后今天运行一个预测模型的时候用到了Xgboost这个，就华丽丽地报错 “没有Xgboost模块包？于是一查发现，拉取的Datascience-notebook镜像确实没有Xgboost包。。。这就尴尬了，既然缺少了，那么就安装Xgboost即可解决。但是，重点来了，一开始掌柜去终端安装了Xgboost：看上面显示的也是成功安装Xgboost，但是当掌柜重新运行刚刚的程序时，
2020-08-18 20:31:28
7883
11
原创 腾讯云服务器中搭建Docker+Anaconda环境来实现本地远程访问Jupyter Notebook+数据分析
起因：因为觉得在Windows系统的本地配置Anaconda总是会遇到各种环境冲突的问题以及有时候出现电脑不在身边想远程跑一个程序的情况，索性换了电脑后就直接在一直吃灰中????的腾讯云服务器中搭建了Docker+Anaconda环境，实现本地可远程访问Jupyter Notebook并进行各种操作????（比如数据分析????），如下图：(上图试验了一下pandas的使用????）（下图随手在sklearn官网找了个“线性回归”的案例来运行????）（跟官网的运行结果一致， 说明安装的都
2020-08-13 18:28:11
992
原创 腾讯云的CentOS 7.5 64位系统中安装Anaconda3 报错 [24582] Failed to execute script entry_point 的解决办法
在腾讯云的Centos 7.5 64位操作系统中安装Anaconda3的时候遇到标题报错：在排查问题的过程中，发现GitHub上有同样问题的朋友，但是他们大部分是因为磁盘空间不足导致的。。。可是掌柜这里是新的云服务器，还没用过，所以排除是这个原因造成的。接着再往下看，发现有个朋友这么说：然后突然想起来，昨晚因为网速太慢，下载被中断了。今早重新再下的脚本文件，难道真的是这个原因？于是去查root下面的文件有哪些：果真，因为今早下的文件重复了，所以被系统自动命名为sh.1。。。但是掌柜还是安
2020-08-11 20:03:21
5810
1
原创 git clone 仓库很慢，甚至失败的解决办法
今天准备更新思维导图09，想要上传到仓库的时候突然想起来，掌柜还没有把该仓库clone到本地。。。于是打开git，开始clone，接着就出现了标题的情况????git clone很慢，最后还崩溃了：一搜发现大家都遇到过git clone很慢的问题，原因是网站github.global.ssl.fastly.net被限制了。。。而解决的办法也很多。试了各种方法后，整理目前还有效的两种：第一种：GitHub域名映射本地法首先在Git里面查看这两个网站的ip地址，使用命令：nslookup git
2020-08-04 19:49:49
1424
原创 最新版 Windows10上安装Python 3.8.5的步骤/教程/指南
因为旧电脑不幸挂了，所以要在新电脑上面重新安装Python。一看官网发现已经更新到3.8.5+了，乖乖，真是迭代快啊。虽然之前安装过一次，不过也忘得差不多了，正好借这次回顾一下安装步骤（万一以后再次遇到（还是不要了????）？？？也会淡定安装）。废话不多说，直接看下面????的步骤吧。首先打开Python官网，直接找到Windows下载安装的界面：Python的Windows下载界面点击最新版3.8.5链接这里：页面跳转后直接拉到底部Files这里，会看到三个不同版本的文件：不
2020-08-03 21:33:16
27359
17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人