- 博客(33)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【可解释机器学习】-线性回归案例【lasso特征选择版】（python）
可解释机器学习：黑盒模型可解释性理解指南作者: 【德】 Christoph Molnar出版社: 电子工业出版社译者: 朱明超英文版（作者在持续更新）：Interpretable Machine Learning原书github：GitHub - christophM/interpretable-ml-book: Book about interpretable machine learning注意：原书使用R语言，本文的Python代码为我自己开发。内容基本参考原书，我进行了结构....
2022-05-29 19:33:21
7818
1
原创 【可解释机器学习】-线性回归案例【基础版】（python代码）
可解释机器学习：黑盒模型可解释性理解指南作者: 【德】 Christoph Molnar出版社: 电子工业出版社译者: 朱明超英文版（作者在持续更新）：Interpretable Machine Learning原书github：GitHub - christophM/interpretable-ml-book: Book about interpretable machine learning注意：原书用的R，我全部改成了Python线性回归介绍1.线性：线性回归的最...
2022-05-26 22:21:34
4172
7
原创 python安装tfx/新建环境
问题：想装tfx，但是提示不支持python3.9。解决方案：新建一个环境tfx专门用来运行流水线，这个环境安装python3.8。1.查看自己的python版本（jupyter notebook）：import syssys.version #查看python版本2.新建一个名为tfx的环境（Anaconda Prompt）首先查看当前已有环境： conda env list创建一个名为【tfx】的环境：conda create --name .
2022-05-15 17:47:38
521
转载 python处理大数据集的7个技巧（内存有限）
How to Work with BIG Datasets on 16G RAM (+Dask)本文为转载，原文链接：How to Work with BIG Datasets on 16G RAM (+Dask) | Kaggle本文有精简。TIP 1 - Deleting unused variables and gc.collect()if you used up a dataframe (or other variable), get in the habit of deleti
2022-04-17 18:59:37
1045
原创 CUDA driver version is insufficient for CUDA runtime version
fit - CatBoostClassifier | CatBoostNoteSet thetask_typeparameter in the class constructor to to train the model on GPU. Training on GPU requires NVIDIA Driver of version 450.xx or higher.完蛋了，我的电脑显卡是AMD，拜拜了您嘞~~~~ 附：NVIDIA和AMD是两家显卡厂商，互为竞争对...
2022-04-16 23:28:09
1226
原创 python三种编码OneHotEncoder,LabelEncoder,OrdinalEncoder对比
1.LabelEncoder# LabelEncoder：Encode target labels with value between 0 and n_classes-1# This transformer should be used to encode target values *i.e.* `y`, and not the input `X`.#1.LabelEncoder用来给lable编码（而不是特征），编码后的值为 0 and n_classes-1#2.如果transform的时
2022-04-09 22:15:00
5257
1
原创 python保存对象至本地磁盘pickle和joblib速度对比
太长不看版：半斤八两。测试的文件3.4G:保存至本地和加载回来的时间对比：保存至本地joblib更快一点，加载回来pickle更快一点。本地的文件大小：代码：import _pickle as cPickleimport joblibjoblib.dump(train ,'preprocess/train_joblib.pkl')train_joblib=joblib.load('preprocess/train_joblib.pkl')c...
2022-03-19 16:49:48
1483
1
原创 【anaconda装catboost】不用改镜像
网上百度了好多方法，都是涉及镜像的，不管用。管用的就是：直接用jupyter notebook装！第一步：把乱七八糟的镜像都移除（在promot中输入）：conda config --set show_channel_urls yesconda config --remove-key channels成功变成下面这个样子（文件路径: C:\用户\用户名\.condarc)：第二步，在jupyter notebook中输入:pip install catboost.
2022-03-15 22:05:00
1432
原创 把kaggle上的LaTeX公式转换为你能看懂的公式
举例：Corporación Favorita Grocery Sales Forecasting | Kaggle里面的评估指标是：$$ NWRMSLE = \sqrt{ \frac{\sum{i=1}^n wi \left( \ln(\hat{y}i + 1) - \ln(yi +1) \right)^2 }{\sum{i=1}^n wi}} $$看不懂，咋办呢？第一步：打开word，把上面这一段复制进去第二步：全选上面的公式，点击 插入→公式...
2022-03-15 19:28:42
367
原创 Hyperopt调参，返回值注意事项（坑），为什么num_leaves和max_depth会显示0？Python
关于Hyperopt的使用可以参考以下几篇文章，本文不做解释：(4条消息) Hyperopt入门_浅笑古今的博客-CSDN博客_hyperopt使用 Hyperopt 进行参数调优（译） - 简书 (jianshu.com)本文主要说明一下返回值的坑！调LightGBM的时候：fmin函数↓搜索空间↓坑来了！最终返回结果是这样（仅做示例）：{'bagging_fraction': 4, 'feature_fraction': 2, 'max_depth': ..
2022-02-22 22:49:15
1284
3
原创 Python数据文件导出到本地并导回的代码（cPickle）
import _pickle as cPickle#将data导出到本地，导出的文件名为【第四章data】，文件类型为pklcPickle.dump(data,open("第四章data.pkl","wb"))#将"第四章data.pkl"从本地导回来，导入后的名字是data_importdata_import = cPickle.load(open("第四章data.pkl","rb")) ...
2022-02-02 20:31:04
973
原创 Anaconda安装新的包（如xgboost包）步骤
1.在https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost 找到对应包（用ctrl+F搜索）【xgboost-1.5.1-cp38-cp38-win_amd64.whl】2.把上述whl文件下载后，放到Anaconda3安装目录下【D:\ProgramData\Anaconda3\Scripts】（注意改成自己的目录）3.启动Anaconda Prompt4.在Anaconda Prompt输入【cd /d D:\ProgramData\An.
2022-02-02 20:26:35
2156
原创 欧氏距离、余弦相似度、Jaccard相似度、皮尔逊的Python代码与实例
首先是一段计算三个相似度的Python代码。需要注意的是，进行归一化操作后，三个函数取值范围都是0-1，而且都是数值越大表示相似性越高，数值为1代表完全相似。import numpy as npdef EuclideanDistance(dataA,dataB): '''【目的】计算欧氏距离（对应值的差平方之和再开方），注重数据之间的绝对位置而不是方向 【输入】np.array 【输出】已进行归一化，取值(0,1]，数值越大表示相似性越高，数值为1代表完全相似
2022-02-02 17:21:17
3217
原创 《用数据讲故事》读书笔记PPT——数据可视化与故事思维
图书信息：作者: [美] Cole Nussbaumer Knaflic出版社: 人民邮电出版社出版年: 2017-820年初，首次阅读，制作了PPT。21年夏天，重读该书，完善了PPT。今发布于此。2021/8/10
2021-08-10 23:05:03
987
原创 精准营销中的价值与实现—银行案例
今天在B站看了一个sas出品的培训精准营销的视频，介绍的案例非常具有实践意义与实操价值，于是把ppt进行了截图，以供日后工作使用。视频地址：精准营销中分析的价值与实现（上）精准营销中分析的价值与实现（下）...
2020-09-14 23:24:37
838
原创 吴恩达机器学习作业（无答案与有答案各一版）与个人笔记
此资源为本人去年在网易云课堂学习吴恩达机器学习课程时所用资料。此资源包含：（1）AndrewNg吴恩达机器学习的课后编程作业。包括：1.无答案版本。2.有答案版本（octave三版，python一版，其中octave第三版为本人实操时所写，其余版本为网络上搜集）。3.作业题目合并版pdf，可直接打印。（2）课堂讲义pdf。（3）个人笔记（中文版），可直接打印。下...
2020-04-01 14:12:58
688
原创 衡量预测变量/自变量重要性
一、响应变量为数值型，预测变量为数值型1.1 Pearson相关系数衡量线性关系1.2 Spearman相关系数变量之间近线性或者曲线相关不适用于变量间的复杂关系1.3 loess局部加权回归非线性关系采取一系列多项式回归分别对一系列的小区域建模二、响应变量为数值型，预测变量为分类型2.1 标准t统计量比较两组均值，本质为信号与噪音的比例（均...
2020-03-31 14:45:53
4873
原创 A/B Test
深入解读A/B 测试的统计学原理A/B-test显著性检验面试（11） A/B test当给定了检验的显著水平a=0.05时，进行双侧检验的Z值为1.96 。当给定了检验的显著水平a=0.01时，进行双侧检验的Z值为2.58 。当给定了检验的显著水平a=0.05时，进行单侧检验的Z值为1.645 。当给定了检验的显著水平a=0.01时，进行单侧检验的Z值为2.33 。双...
2020-01-03 14:53:04
3035
原创 应用预测建模第六章线性回归习题6.3【缺失值插补，分层抽样，预测变量重要性，重要预测变量如何影响响应变量，多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网】
模型：多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网语言：R语言参考书：应用预测建模 Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译本案例中的一些模型概念与数据分析思路不做详细解释，因为在之前的博文中已经写过了，是类似的，可以参考同章节的博文。案例：导入...
2019-12-05 12:06:11
1367
原创 应用预测建模第六章线性回归习题6.2【模型的最优参数选择与模型对比 ，多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网】
模型：多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网语言：R语言参考书：应用预测建模 Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译案例#载入数据library(AppliedPredictiveModeling)data(permeability)he...
2019-12-03 21:32:01
1773
原创 应用预测建模第六章线性回归习题6.1【主成分分析，模型的最优参数选择与模型对比 ，多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网】
模型：多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网语言：R语言参考书：应用预测建模 Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译案例：( b）在本例中预测变量是各个频率下吸收量的一个测量。由于频率处在一个系统的顺序中（ 850 ～1050 nm），因此预测...
2019-12-03 13:28:33
1808
原创 应用预测建模第六章-线性回归-预测化合物溶解度练习-R语言（多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网)
模型：多元线性回归，稳健回归，偏最小二乘回归，岭回归，lasso回归，弹性网语言：R语言参考书：应用预测建模 Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译案例：导入数据集。library(AppliedPredictiveModeling)data(solubilit...
2019-11-28 20:50:54
4121
原创 应用预测建模第四章过度拟合与模型调优习题4.4【分层随机抽样、小样本的模型评估方案】
《应用预测建模》Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译第四章 过度拟合与模型调优4.4Brodnjak-Vonina 等（ 2005 ）提出了一种在食品科学研究中检测样本油脂类别的方法。在此方法中，他们使用气象色谱仪（一个能够分离样本化学物质的仪器）测量了油脂中7 种不同的脂肪酸。这些测量...
2019-11-25 01:48:52
681
原创 应用预测建模第四章过度拟合与模型调优习题4.3【运用一倍标准差法、容忍度选择简洁模型】
《应用预测建模》Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译第四章 过度拟合与模型调优4.3 偏最小二乘法（ 6. 3 节）可以对1. 4 节中化工生产过程的产量进行建模。相关数据包含在AppliedPredictiveModeling软件包中，载入入数据的代码如下：> library(A...
2019-11-25 00:10:41
709
原创 应用预测建模第四章过度拟合与模型调优习题4.1 4.2【不同样本量与建模目的的测试集与训练集划分】
《应用预测建模》Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译第四章 过度拟合与模型调优4. I .考虑1.1 中描述过的音乐流派数据。在这个例子里，建模的目的是用预测变量将音乐样本划分到相应的音乐流派中，( a ）你打算用什么方法分割数据？解释其原因。( b ）用本章介绍的工具，给出能实现该方...
2019-11-24 19:20:40
1080
原创 应用预测建模第四章信用卡评分模型练习-R语言【不同的重抽样方法比较：重复K折交叉验证、K折交叉验证、留一交叉验证、重复训练/测试集划分 、Bootstrap；支持向量机与逻辑回归模型比较】
不同的重抽样方法比较：重复K折交叉验证、K交叉验证、LOOCV留一交叉验证、重复训练/测试集划分 （留多交叉验证、蒙特卡洛交叉验证）、Bootstrap自助法、632法（为消除估计偏差，Bootstrap自助法改进）支持向量机与逻辑回归模型比较应用预测建模 Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟...
2019-11-24 17:43:53
2073
5
原创 应用预测建模第三章数据预处理习题3.3【退化分布、降低变量强相关性】
《应用预测建模》Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译第三章 数据预处理3. 3 本书第5 章会介绍定量构效关系（ QSAR ）模型。该模型用化合物的特征去预测其他的化学性质。caret 包中有一个来自Mente 和Lombardo (2005 ）的数据集。数据包含对208 种化合物渗透血脑...
2019-11-24 02:29:55
1165
原创 应用预测建模第三章数据预处理习题3.2【退化分布、缺失值的缺失模式探索、处理缺失值】
《应用预测建模》Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译第三章 数据预处理3. 2 UC机器学习数据库里还有一组大豆数据。数据收集自683 个大豆样本，其目的是用来预测大豆疾病。35 个预测变量大部分是分类变量，包括环境条件的信息（如温度和降水量）和种植条件（如霉菌生长）。结果变量是19 个不...
2019-11-24 00:47:32
1059
原创 应用预测建模第三章数据预处理习题3.1【预测变量分布、变量关系、离群点、偏度、box-cox变换】
《应用预测建模》Applied Predictive Modeling (2013) by Max Kuhn and Kjell Johnson，林荟等译第三章 数据预处理3. 1 UCI 机器学习数据库中有一个关于玻璃鉴定的数据。数据自214 个玻璃样本组成，分别被标记为7 个分类中的1 个。有9个预测变量，包括折射率和八种化学元素的百分比： Na, Mg, Al. Si, K,Ca, ...
2019-11-23 21:32:21
1029
原创 R语言 将5个分开的类型合为一个变量
汽车的type为5个类型："convertible", "coupe", "hatchback", "sedan", "wagon"（“敞篷车”，“轿跑车”，“掀背车”，“轿车”，“旅行车”）在目前的数据集中，5个类型为5个变量，每个变量取值为0或1：head(cars[14:18]) convertible coupe hatchback sedan wagon1 ...
2019-11-23 16:36:15
1814
1
原创 吴恩达机器学习编程作业无法暂停pause问题解决
吴恩达机器学习的编程作业需要暂停，虽然原始代码中有 pause ，但是发现实际在octave（5.1.0）运行时，代码无法暂停。编程作业代码：fprintf('Program paused. Press enter to continue.\n');pause;经过搜索，知乎有同志提出了解决方案具体链接见：https://www.zhihu.com/question/34559...
2019-11-09 12:04:25
647
吴恩达机器学习作业（无答案与有答案各一版）与个人笔记.zip
2019-11-10
0-1背包动态规划&部分背包贪婪算法
2016-12-30
A星算法代码JAVA
2016-12-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人