- 博客(9)
- 收藏
- 关注
RSS订阅原创 EM算法及其推广--学习笔记
1、EM算法含有隐变量的概率模型的数据表示为P(Y,Z|𝞱)Y是观测变量的数据，Z是隐变量的数据，𝞱是模型参数，EM算法通过迭代求解观测数据的对数似然函数 L ( θ ) = log P ( Y ∣ θ ) 的极大化。在构建具体的EM算法时，重要的是定义Q函数，每次迭代中，EM算法通过极大化Q函数来增大对数似然函数L（𝞱）EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。4、EM算法可解释为F函数的极大-极小算法，EM算法有许多变形，如GEM算法。
2023-07-09 15:23:56
39
1
原创 机器学习之集成学习--学习笔记
Boosting工作机制：先从初试训练集训练出一个基学习器，在根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器，如此重复进行，直至基学习器达到事先指定的值T，最终将这T个基学习器进行加权 结合。这样的集成是同质，同质集成中的个体学习器称为“基学习器”，相应的学习算法称为基学习算法。集成中也可包含不同类型的个体学习器。即通过另一个学习器来进行结合，把个体学习器称为初级学习器，用于结合的学习器称其为次级学习器或元学习器。
2023-07-09 12:58:51
42
1
原创 机器学习之决策树--学习笔记
决策树还表示给定特征条件下类的条件概率分布，这一条件概率分布定义在特征空间的一个划分上，将特征空间划分为互不相交的单元或区域，并在每个单元定义一个类的概率分布就构成了一个条件概率分布。设一组叶节点回缩到其父节点之前与之后的整体树分别为TB,TA，其对应的损失函数值分别是，Ca(TB)与Ca(TA)，如果Ca(TA)<=Ca(TB)则进行剪枝，即将父节点变为新的叶节点。根据信息增益准则的特征选择方法是：对训练数据集D，计算其每个特征的信息增益，并比较他们的大小，选择信息增益最大的特征。
2023-07-08 15:46:00
53
原创 机器学习之k近邻法--学习笔记
k近邻法(k-nearest neighbor,k-NN)是一种基本分类与回归方法。k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。
2023-07-06 18:54:10
65
1
原创 机器学习之感知机---学习笔记
感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，去+1和-1值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型感知机模型是基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，感知机学习算法分为原始形式和对偶形式。数据集的线性可分性：如果存在某个超平面S，能够将数据集的正实例和负实例正确二的划分到超平面的两侧，则称数据集是可分数据集，否则，为线性不可分。
2023-07-06 15:26:39
85
1
原创 学习笔记之必备知识锦囊--西瓜书
直接一自助采样法为基础，给定包含m个样本的数据集D，对它进行采用尝样数据集D"：每次随机从D中挑选一个样本，将其拷贝放入D”，然后再将该样本放回初试数据集D中，使得该样本在下次采样是仍有可能被采到，这个过程重复执行M次后，就得到了包含M个样本的数据集D“。然后将D"用做训练集，D\D"用做测试集，这样实际评估的模型与期望评估的模型都使用M个训练样本，仍有1/3的，没在训练集中出现的样本用于此时，这样的测试结果称为”包外估计“：无论学习算法多聪明，学习算法多笨拙，他们的期望性能是一样的。
2023-06-23 19:38:52
27
原创 学习笔记之机器学习及监督学习概论
理，主要想法是：在概率模型的学习和推理中，利用贝叶斯定理，计算在给定数据条件下模型的条件概率，即后验概率，并应用这个原理进行模型的估计，以及对数据的预测，：是指从标注数据中学习预测模型的机器学习问题，标注数据表示输入输出的对应关系，预测模型对给定的输入产生相应的输出。：是指从无标注数据中学习预测模型的机器学习问题，无标注数据是自然得到的数据，预测模型表示数据的类别，转换或概率。是数据，它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到数据的分析与预测中去。本质是学习最优的序贯决策。
2023-06-23 19:37:25
50
1
原创 支持向量机SVM-算法
（2）选取优化变量a1(k),a2(k)，解析求解两个变量的最优化问题。求得最优解a1(k+1),a2(k+1),更新a为a(k+1);输入：线性可分训练集T={（x1,y1),(x2,y2),,,,(xn,yn)},其中，xi属于R，yi属于+-1。输入：线性可分训练集T={(x1,y1),(x2,y2),,,(xn,yn)}输入：线性可分训练集T={(x1,y1),(x2,y2),,,(xn,yn)}（1）选取适当的核函数K（x,z)和适当的参数C，构造并求解最优化问题。（1）构造并求约束最优化问题。
2023-06-22 12:31:11
69
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人