- 博客(11)
- 收藏
- 关注
RSS订阅原创 牛顿法与梯度下降法
牛顿法与梯度下降法的联系：牛顿法与梯度下降法是非常相似的，只是牛顿法多乘Hessian矩阵的逆矩阵。梯度下降法是用线性函数来近似代替目标函数，而牛顿法是用二次函数来代替目标函数，故牛顿法的收敛速度是更快的。尤其是当函数的三阶导为0时，只需要迭代一次，即可得到最终的结果。牛顿法的局限：Hessian矩阵不一定可逆当Hessian矩阵规模很大时，变量很多时，解Hessian矩阵的逆矩阵非常...
2019-11-14 20:31:52
288
转载 特征工程常用方法
特征工程常用方法时间戳处理时间戳属性通常需要分离成多个维度比如年、月、日、小时、分钟、秒钟。但是在很多的应用中，大量的信息是不需要的。比如在一个监督系统中，尝试利用一个’位置+时间‘的函数预测一个城市的交通故障程度，这个实例中，大部分会受到误导只通过不同的秒数去学习趋势，其实是不合理的。并且维度’年’也不能很好的给模型增加值的变化，我们可能仅仅需要小时、日、月等维度。因此当我们在呈现时间的时候...
2019-11-14 20:20:40
1091
原创 bagging和boosting
Boosting包括:AdaboostXGboostGBDTLigntGBM个体学习器之间串行存在Boosting的算法原理1.Boosting算法的工作机制是首先从训练集用初始权重训练出十个弱学习器1,2.根据弱学习的学习误差率表现来更新训练样本的权重,使之前弱学习器1学习误差率高的训练样本点的权重变高而这些误差率高的点在后面的弱学习器2中得到更多的重视。3.然后基于调整...
2019-11-14 19:27:25
109
原创 ID3算法
ID3算法使用信息增益为准则来选择划分属性信息熵:H(X)=−∑i=1npilogpiH(X)=-\sum_{i=1}^{n}p_{i}\log{p_{i}}H(X)=−i=1∑npilogpi熵度量了事物的不确定性,越不确定的事物,熵越大.当样本集D中第i类样本所占的比例pip_{i}pi,则D的信息熵为:H(X)=Ent(D)=−∑i=1npilogpiH(X)=Ent(...
2019-11-12 19:48:43
1783
转载 向量点乘（内积）
向量是由n个实数组成的一个n行1列（n1）或一个1行n列（1n）的有序数组；向量的点乘,也叫向量的内积、数量积，对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，点乘的结果是一个标量。点乘公式对于向量a和向量b：a和b的点积公式为：要求一维向量a和向量b的行列数相同。点乘几何意义点乘的几何意义是可以用来表征或计算两个向量之间的夹角，以及在b向量在a向量方向上...
2019-11-11 20:55:54
1216
原创 SVM损失函数
SVM最大间隔决策公式目标函数损失函数最大间隔让最大间隔作为衡量一条决策边界的好还的原因是，如果一条决策边界有最大间隔，那么这条决策边界就具有很好的鲁棒性，相当于增加了一个缓冲地带，再来一个数据集我可以很从容的包容你进行分类不至于分错类别。下面讲下最大间隔的概念，如上图，假如存在一条图中的决策边界，A为边界上的某一点，那么连接原点可以作出通过A点的一个向量uu找到一个垂直于决策...
2019-11-11 20:46:21
1888
1
原创 连续数据的离散化
离散化的优势在特征工程中，我们常常需要对连续型特征进行离散化处理，下面对离散化的优势做简单总结:映射到高维度空间,用linear的LR更快,且兼具更好的分割性稀疏化,0,1向量内积乘法运算速度快,计算结果方便存储,容易扩展单变量离散化N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合离散特征的增加和减少都很容易，易于模型的快速迭代模型稳定,收敛度高...
2019-11-10 22:33:14
3839
原创 误差的表示方法
误差(ACC)=TP+TNTP+TN+FP+FN误差(ACC)=\frac{TP+TN}{TP+TN+FP+FN}误差(ACC)=TP+TN+FP+FNTP+TN精确率(Precision)=TPTP+FP精确率(Precision)=\frac{TP}{TP+FP}精确率(Precision)=TP+FPTP召回率(Recall)=TPTP+FN召回率(Recall)=\frac{TP...
2019-11-07 20:01:17
1570
原创 凸函数
凸函数的定义:若一个函数满足定义域是凸集f(a1X1+a2X2)≤a1f(x1)+a2f(x2)f(a_{1}X_{1}+a_{2}X_{2})\leq a_{1}f(x_{1})+a_{2}f(x_{2})f(a1X1+a2X2)≤a1f(x1)+a2f(x2)那么该函数为凸函数凸函数举例f(x)=exf(x)=e^{x}f(x)=exf(x)=xaf(x)=x...
2019-11-06 20:46:21
1754
原创 正则化
出现过拟合的可能原因:训练集中存在噪音训练数据太小过拟合的处理方式:丢弃一些不能帮助我们正确预测的特征正则化:保留所有的特征,减少参数的大小尝试获得更多的特征尝试增加多项式特征正则化:保留所有的特征,增加参数的大小正则化的两种形式:L1正则化J(θ)=12m∑i=1m[((hθ(xi)−yi)2+λ∑j=1n∣θj∣)]J(\theta)=\frac{1}{2m} \...
2019-11-06 20:44:51
123
原创 机器学习方法三要素
机器学习(Machine Learning)定义:为了解决任务T,设计一段程序,从经验E中学习,达到性能度量值P,当且仅当有了经验E后,经过P评判,程序在处理T时的性能得到提升.机器学习方法三要素模型就是要学习的概率分布或决策函数所有可能的条件概率分布或者决策函数构成的集合就是模型的假设空间策略从假设空间中学习最优模型的方法,称为策略衡量模型好与不好需要一些指标,这时引入风险函数和...
2019-11-05 17:19:57
250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人