- 博客(192)
- 收藏
- 关注
RSS订阅原创 深度学习学习率
学习率是训练神经网络的重要超参数之一，它代表在每一次迭代中梯度向损失函数最优解移动的步长，通常用 η 表示。它的大小决定网络学习速度的快慢。在网络训练过程中，模型通过样本数据给出预测值，计算代价函数并通过反向传播来调整参数。重复上述过程，使得模型参数逐步趋于最优解从而获得最优模型。在这个过程中，学习率负责控制每一步参数更新的步长。合适的学习率可以使代价函数以合适的速度收敛到最小值。Transformers之自定义学习率动态调整 - 知乎参考。
2023-05-24 16:10:01
1651
1
原创 Pytroch 模型权重初始化
权值初始化是指在网络模型训练之前，对各节点的权值和偏置初始化的过程，正确的初始化会加快模型的收敛，从而加快模型的训练速度，而不恰当的初始化可能会导致梯度消失或梯度爆炸，最终导致模型无法训练。
2023-05-18 11:29:55
1913
原创 Python百度地图API逆地理编码：经纬度转城市
1 注册登陆百度地图账号：登录百度帐号百度帐号是登录所有百度系产品的通行证，登录后还可以在帐户管理页管理/修改您的个人信息，包括修改密码、绑定手机、身份认证等。
2023-05-09 11:15:12
404
原创 cat boost
Score functions - Algorithm details | CatBoostcatboost原理_chencas的博客-CSDN博客_catboost原理初学CatBoost模型——特性、原理、目标编码、调参 - 山枫叶纷飞 - 博客园
2022-05-14 00:21:01
377
原创 不均衡样本集的重采样
1 背景 在训练二分类模型时， 例如医疗诊断、 网络入侵检测、 信用卡反诈骗等， 经常会遇到正负样本不均衡的问题。 对于很多分类算法， 如果直接采用不均衡的样本集来进行训练学习， 会存在一些问题。 例如， 如果正负样本比例达到1∶ 99， 则分类器简单地将所有样本都判为负样本就能达到99%的正确率， 显然这并不是我们想要的， 我们想让分类器在正样本和负样本上都有足够的准确率和召回率。2 为什么很多分类模型在训练数据不均衡时会出现问题？本质原因是模型在训练时优化的目标函数和人们在测试...
2022-05-12 18:37:17
2165
原创 N-BEATS
通用的block多，原因可能是需要更多的block去学习，而可解释性的方法中添加了很多先验知识。[论文精读] N-BEATS：对可解释时序预测的神经基础扩展分析_哔哩哔哩_bilibili【论文分享】N-BEATS: 神经网络底层扩展分析，用于可解释的时间序列预测。_哔哩哔哩_bilibili...
2022-05-10 15:54:27
1343
原创 TCN（Temporal Convolutional Network，时间卷积网络）
1 前言 实验表明，RNN 在几乎所有的序列问题上都有良好表现，包括语音/文本识别、机器翻译、手写体识别、序列数据分析（预测）等。 在实际应用中，RNN 在内部设计上存在一个严重的问题：由于网络一次只能处理一个时间步长，后一步必须等前一步处理完才能进行运算。这意味着 RNN 不能像 CNN 那样进行大规模并行处理，特别是在 RNN/LSTM 对文本进行双向处理时。这也意味着 RNN 极度地计算密集，因为在整个任务运行完成之前，必须保存所有的中间结果。 ...
2022-05-10 00:37:17
75148
15
原创 经验模态分解（EMD）
1 背景 实际工程测量中由于测量系统受外界环境影响经常在测量信号中产生趋势项。趋势项是指信号中周期大于采样长度的频率成分，通常表现为线性的或者慢变的趋势误差。提取和消除信号中存在的趋势项是信号预处理的一个重要环节，趋势项会严重影响信号时域相关分析和频域功率谱估计精度，严重的趋势项干扰会使低频谱严重失真。 目前提取趋势项的方法主要有：平均斜率法、差分法、低通滤波法和最小二乘拟合法等。这些方法通常需要预先明确信号中趋势项的类型，如线性趋势项、多项式或指数趋势项等，不适用于复杂...
2022-05-09 14:32:03
25718
7
原创 三大统计学相关系数（pearson皮尔森、spearman斯皮尔曼、kendall肯德尔）
Kendall相关系数是对于定类变量的统计，pearson是对定距变量的统计，而spearman是对定序变量的统计。1 person correlation coefficient（皮尔森相关性系数）公式如下： 重点关注第一个等号后面的公式。两个变量(X, Y)的皮尔森相关性系数(ρX,Y)等于它们之间的协方差cov(X,Y)除以它们各自标准差的乘积(σX, σY)。 公式的分母是变量的标准差，这就意味着计算皮尔森相关性系数时，变量的标准差...
2022-05-08 23:13:46
9639
1
原创 ADF检验数据平稳性
目录1 背景2 单位根3 单位根检验4 ADF检验5 python 实现与结果解释1 背景 在使用很多时间序列模型的时候，如 ARMA、ARIMA，都会要求时间序列是平稳的，所以一般在研究一段时间序列的时候，第一步都需要进行平稳性检验，除了用肉眼检测的方法，另外比较常用的严格的统计检验方法就是ADF检验，也叫做单位根检验。 ADF检验全称是 Augmented Dickey-Fuller test，顾名思义，ADF是 Dickey-Fuller...
2022-05-08 18:24:10
28701
原创 傅里叶（四）：傅立叶变换（FFT）求时间序列的周期
傅里叶级数：在时域是一个周期且连续的函数，而在频域是一个非周期离散的函数。 傅里叶变换：我们接下去要讲的傅里叶变换，则是将一个时域非周期的连续信号，转换为一个在频域非周期的连续信号。首先要来理解什么是频率 ： 通用解释为 -----频率，是单位时间内完成周期性变化的次数，是描述周期运动频繁程度的量，常用符号f或ν表示，单位为秒分之一，Hz是频率的基本单位，通常是以1秒完成的动作次数。比如你1秒能吃3个馒头那就记作你吃馒头的频率是3Hz（3赫兹），比如你的眼皮1秒能跳动10次就记作你眼皮...
2022-05-08 00:33:17
4962
原创 STL (Seasonal-Trend decomposition procedure based on Loess) 时间序列分解
时间序列分解算法：STL - Treant - 博客园长期趋势(Secular trend, T)：长期趋势指现象在较长时期内持续发展变化的一种趋向或状态。 季节变动(Seasonal Variation, S)：季节波动是由于季节的变化引起的现象发展水平的规则变动 循环波动(Cyclical Variation, C)：循环波动指以若干年为期限，不具严格规则的周期性连续变动 不规则波动(Irregular Variation, I)（R）: 不规则波动指由于众多偶然因素对时间序列造...
2022-05-06 13:58:34
1401
原创 fbprophet
Prophet的原理知识：Prophet的原理知识_lamusique的博客-CSDN博客_prophet原理Prophet的使用：时间序列模型Prophet使用详细讲解_anshuai_aw1的博客-CSDN博客_prophet官方链接： 论文：《Forecasting at scale》,https://peerj.com/preprints/3190/ github：https://github.com/facebook/prophet 官网：https://f..
2022-05-06 12:26:19
3819
原创 ARIMA（Autoregressive Integrated Moving Average Model）
对时间序列数据进行分析和预测比较完善和精确的算法是博克思-詹金斯(Box-Jenkins)方法，其常用模型包括：自回归模型（AR模型）、滑动平均模型（MA模型）、（自回归-滑动平均混合模型）ARMA模型、（差分整合移动平均自回归模型）ARIMA模型。 ARIMA模型（英语：AutoregressiveIntegratedMovingAverage model），差分整合移动平均自回归模型，又称整合移动平均自回归模型（移动也可称作滑动），是时间序列预测分析方法之一。AR...
2022-05-04 19:00:39
10790
1
原创 梯度提升（Gradient Boosting）算法
目录1 引言2 梯度下降法3梯度提升算法4梯度提升原理推导5对梯度提升算法的若干思考5.1梯度提升与梯度下降的区别和联系是什么？5.2梯度提升和提升树算法的区别和联系？5.3梯度提升和GBDT的区别和联系？5.4 梯度提升算法包含哪些算法？5.5对于一般损失函数而言，为什么可以利用损失函数的负梯度在当前模型的值作为梯度提升算法中残差的近似值呢？1 引言 提升树利用加法模型与前向分歩算法实现学习的优化过程。当损失函数是平方误差损失...
2022-04-27 14:53:01
7940
1
原创 机器学习算法（三十）：强化学习（Reinforcement Learning）
目录1 简介1.1 什么是强化学习1.2 强化学习的主要特点1.3 强化学习的组成部分2强化学习训练过程3强化学习算法归类3.1 Value Based3.2Policy Based3.3 Actor-Critic3.4 其他分类4EE（Explore & Exploit）探索与利用5 强化学习实际开展中的难点6 强化学习的实际应用6.1 自动驾驶6.2 游戏6.3 推荐系统7 Q-learning8 策略梯度...
2022-04-26 16:14:12
36433
原创 归一化方法 BN、LN、IN、GN、SN
目录1 概念2 图解3 公式4 Batch normalization和Layer normalization有什么区别？4.1为什么ML中用BN比较多？4.1.1 ML & batch normalization4.1.2 ML & layer normalization4.1.3WhyML&BN?4.2为什么NLP中用LN比较多？4.2.1NLP & batch normalization4.2.2NLP &am...
2022-04-25 14:37:10
2501
原创 转置卷积（Transposed Convolution）
转置卷积（Transpose Convolution），一些地方也称为“反卷积”，在深度学习中表示为卷积的一个逆向过程，可以根据卷积核大小和输出的大小，恢复卷积前的图像尺寸，而不是恢复原始值。1 卷积操作及转置卷积的定义1.1 卷积操作 对于一个输入大小为 的图像，卷积核大小为 ： 计算输出的具体实现方法为矩阵乘法。 将卷积核表示为稀疏矩阵 每一行向量表示在一个位置的卷积操作，0填充表示...
2022-04-22 12:28:42
4474
原创 卷积神经网络中二维卷积核与三维卷积核有什么区别？
1一维卷积神经网络（1D-CNN） 一维卷积常用在序列模型、自然语言处理领域； 假设输入数据维度为8，filter维度为5，不加padding时，输出维度为4；如果filter的数量为16，那么输出数据的shape就是；2 二维卷积神经网络（2D-CNN） 二维卷积常用在计算机视觉、图像处理领域（在视频的处理中，是对每一帧图像分别利用CNN来进行识别，没有考虑时间维度的信息）；输入是7帧的灰度图。...
2022-04-21 00:15:20
10094
3
原创 Xavier参数初始化方法
1 梯度消失与梯度爆炸这是一个深度学习领域遇到的老问题了，即使是现在，任何一个新提出的模型，无论是MLP、CNN、还是RNN，随着深度的加深，这两个问题变得尤为严重。梯度消失是指在深度学习训练的过程中，梯度随着链式求导逐层传递逐层减小，最后趋近于0，导致对某些层的训练失效； 梯度爆炸与梯度消失相反，梯度随着链式求导逐层传递逐层增大，最后趋于无穷，导致某些层无法收敛；2 Xavier方法接下来的推导基于假设:激活函数在0周围的导数接近1(比如tanh); 偏置项b初始化为0，期望为0
2022-04-19 23:03:15
4974
原创 多种采样方法
1 采样的作用 采样在机器学习中有着非常重要的应用：它可以将复杂的分布简化为离散的样本点； 可以用重采样对样本集进行调整以更好地适应后期的模型学习； 可以用于随机模拟以进行复杂模型的近似求解或推理。 另外， 采样在数据可视化方面也有很多应用， 可以帮助人们快速、 直观地了解数据的结构和特性。采样是从特定的概率分布中抽取对应的样本点。采样的作用：（1）采样本质上是对随机现象的模拟， 根据给定的概率分布， 来模拟产生一个对应的随机事件。 采样可以让人们对随机事件及其产生过程...
2022-04-16 21:52:59
4471
2
原创 优化方法（随机梯度下降的改进方法）
目录1 前提2动量（Momentum） 方法3AdaGrad方法4RMSProp方法5Adam方法6 总结与扩展1 前提进一步地， 有人会说深度学习中的优化问题本身就很难， 有太多局部最优点的陷阱。 没错， 这些陷阱对随机梯度下降法和批量梯度下降法都是普遍存在的。但对随机梯度下降法来说， 可怕的不是局部最优点， 而是山谷和鞍点两类地形。山谷顾名思义就是狭长的山间小道， 左右两边是峭壁； 鞍点的形状像是一个马鞍， 一个方向上两头翘， 另一个方向上两头垂， 而中...
2022-04-14 00:21:03
3755
原创 机器学习算法（十二）：聚类
目录1 K的选择1.1肘部法则(Elbow method)1.2目标法则1.3间隔统计量 Gap Statistic1.4 关于K值选择的改进算法——ISODATA算法2聚类算法的评估2.1估计聚类趋势2.2 判定数据簇数2.3测定聚类质量2.3.1轮廓系数（Silhouette Coefficient）2.3.2均方根标准偏差（Root-mean-square standard deviation，RMSSTD）2.3.3 R方（R-Sq...
2022-04-05 18:31:47
10563
原创 自组织映射神经网络（SOM）
目录1 背景：自组织（竞争型）神经网络2竞争学习的概念与原理2.1 竞争学习的步骤2.2 示例3SOM典型结构4SOM网的权值调整域5 SOM Kohonen 学习算法6 SOM示例7SOM设计细节7.1输出层设计7.2输出层节点排列的设计7.3 权值初始化问题7.4学习率的设计7.5设计拓扑领域8SOM功能分析8.1 保序映射8.2数据压缩8.3 特征提取9自组织映射神经网络与K均值算法的区别...
2022-04-05 15:50:13
7671
3
原创 机器学习算法（二十九）：高斯混合模型（Gaussian Mixed Model，GMM）
目录1 混合模型（Mixture Model）2 高斯模型2.1 单高斯模型2.2高斯混合模型3模型参数学习3.1单高斯模型3.2高斯混合模型4高斯混合模型与K均值算法对比1 混合模型（Mixture Model） 混合模型是一个可以用来表示在总体分布（distribution）中含有 K 个子分布的概率模型，换句话说，混合模型表示了观测数据在总体中的概率分布，它是一个由 K 个子分布组成的混合分布。混合模型不要求观测数据提供关于子分布的...
2022-04-05 00:28:44
19516
4
原创 多重共线性的影响、判定及消除的方法
目录1 什么是多重共线性？2 多重共线性的影响3 共线性的判别指标（方差膨胀因子）3.1 拟合优度3.2方差膨胀因子VIF4 多重共线性处理方法4.1 手动移除出共线性的变量4.2 逐步回归法4.2.1向前法4.2.2后退法4.3 增加样本容量4.4 岭回归4.4.1最小二乘法求解多元线性回归4.4.2 岭回归处理多重共线性4.4.3 Lasso回归处理多重共线性4.4.4 总结1 什么是多重共线性？ 回归分...
2022-03-26 19:05:22
31755
1
原创 超参数调优的方法
1gridSearchCV（网格搜索） sklearn.model_selection.GridSearchCV — scikit-learn 1.0.2 documentation GridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化的结果和参数。但是这个方法适合于小数据集，一旦数据的量级上去了，很难得出结果。这个时候就是需要动脑筋了。数据量比较大的时候可以使用一个快速调优的方法——坐标下降。它其实是一种贪心算法：拿当前对模型影响最大的...
2022-03-21 00:28:35
2444
原创 机器学习算法（二十八）：Gan （生成式对抗网络）
生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。原始 GAN理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为 G 和 D 。一个优秀的GAN应用需要有...
2022-03-20 12:02:03
8475
1
原创 机器学习算法（二十七）：贝叶斯网络
目录1. 对概率图模型的理解2. 贝叶斯方法2.1 频率派观点2.2 贝叶斯学派2.3 贝叶斯定理2.4 应用：拼写检查3 贝叶斯网络3.1 贝叶斯网络的定义3.2贝叶斯网络的3种结构形式3.2.1 形式1：head-to-head3.2.2 形式2：tail-to-tail3.2.3 形式3：head-to-tail3.3贝叶斯网络的实例3.4 因子图3.4.1 因子图的定义3.4.2 Sum-product算法1. 对概率图模...
2022-03-19 19:42:06
3735
原创 Python 实例方法、类方法、静态方法
Python中至少有三种比较常见的方法类型，即实例方法，类方法、静态方法。实例方法 定义：第一个参数必须是实例对象，该参数名一般约定为“self”，通过它来传递实例的属性和方法（也可以传类的属性和方法）； 调用：只能由实例对象调用。类方法 定义：使用装饰器@classmethod。第一个参数必须是当前类对象，该参数名一般约定为“cls”，通过它来传递类的属性和方法（不能传实例的属性和方法）； 调用：类和实例对象都可以调用。静态方法 定义：使用装饰...
2022-01-25 17:28:57
301
原创 共轭和共轭分布
1 贝叶斯分布 共轭是贝叶斯理论中的一个概念，一般共轭是一个先验分布与似然函数共轭； 那么就从贝叶斯理论中的先验概率，后验概率以及似然函数说起： 在概率论中有一个条件概率公式，有两个变量第一个是A，第二个是B，A先发生，B后发生，B的发生与否是与A有关系的，那么我们要想根据B的发生情况来计算 A发生的概率就是所谓的后验概率P(A|B)（后验概率是一个条件概率，即在B发生的条件下A发生的概率），计算公式是：P(A|B)=P(AB)/P(B)， ...
2022-01-06 15:30:15
2106
原创 DeepFM
目录1 概述2DeepFM2.1 模型2.2 每一层详解2.2.1第一层2.2.2 第二层2.2.3第三层2.2.4第四层 Output Units3FM层的探究1 概述关键词：特征组合 LR：缺乏特征组合能力，需人工做特征工程 GBDT+LR：特种组合能力不强，对高维的稀疏特征应对乏力 FM：具有较强的二阶特征组合能力，高阶特征组合应对乏力 Wide&Deep：较好地利用了低阶和高阶组合特征。但是wide部分依旧需要特征工程，...
2021-12-09 14:25:32
516
原创 机器学习算法（二十六）：文本表示模型
1 词袋模型 最基础的文本表示模型是词袋模型。 顾名思义， 就是将每篇文章看成一袋子词， 并忽略每个词出现的顺序。 具体地说， 就是将整段文本以词为单位切分开，然后每篇文章可以表示成一个长向量， 向量中的每一维代表一个单词， 而该维对应的权重则反映了这个词在原文章中的重要程度。...
2021-11-13 18:29:27
2706
原创 机器学习算法（十五）：XGBoost
3 XGBoost XGBoost的进化史： XGBoost全名叫（eXtreme Gradient Boosting）极端梯度提升，经常被用在一些比赛中，其效果显著。它是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包。XGBoost 所应用的算法就是 GBDT（gradient boosting decision tree）的改进，既可以用于分类也可以用于回归问题中。与GBDT最大的区别是xgboo...
2021-11-08 20:26:16
11227
1
原创 Python 装饰器
Python 函数装饰器：Python 函数装饰器 | 菜鸟教程python如何修改装饰器中参数：https://www.jb51.net/article/136740.htm
2021-11-02 15:06:12
104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人