- 博客(24)
- 收藏
- 关注
RSS订阅原创 高斯混合模型(GMM)推导
数据表示如下：XXX：观测数据，X={x1,x2,...,xN}X=\{x_1,x_2,...,x_N\}X={x1,x2,...,xN}(X,Z)(X,Z)(X,Z)：complete data，(X,Z)={(x1,z1),(x2,z2),...,(xN,zN)}(X,Z)=\{(x_1,z_1),(x_2,z_2),...,(x_N,z_N)\}(X,Z)={(x1,z1),(x2,z2),...,(xN,zN)}θ\thetaθ：参数，θ={P1,...,Pk,μ1,....
2020-12-26 22:01:11
1051
原创 指数族分布
写在前面：本文只是对暂时学到的指数族分布的理论知识进行总结，至于指数族分布在实际机器学习中的具体应用，等后续学习到了再进行补充，也欢迎有经验的大佬赐教~文章将按照下面的思路进行：第一章首先给出指数族分布通用的 pdf 的表达式，简单介绍什么是充分统计量和对数配分函数；接着将一元高斯分布的 pdf 改写成指数族分布的通用形式，以加深对该 pdf 的理解；第二章通过两种方式推导指数族分布的 pdf 中充分统计量和对数配分函数的关系：一种是直接在 pdf 上进行推导，另一种是通过极大似然估计的方式进行.
2020-12-23 22:21:09
1684
原创 机器学习中的高斯分布
文章目录一、高斯分布的概率密度函数二、一元高斯分布的极大似然估计2.1 μMLE,σMLE\mu_{MLE},\sigma_{MLE}μMLE,σMLE 的求解2.2 验证 μMLE,σMLE\mu_{MLE},\sigma_{MLE}μMLE,σMLE 的无偏性三、多元高斯分布3.1 马氏距离3.2 (x−μ)TΣ−1(x−μ)(x-\mu)^T\Sigma^{-1}(x-\mu)(x−μ)TΣ−1(x−μ) 的求解3.3 实际应用过程的问题四、联合分布 -> 边缘分布 + 条件分布4.1
2020-12-22 11:35:56
1081
原创 变分自编码器(VAE)剖析
文章目录一、文章思路二、AE的局限性三、VAE的引入四、数学推导五、网络架构 + 代码实现六、参考资料本文以图像的重构为例对VAE进行梳理一、文章思路我们首先了解一下传统AE的不足之处：隐空间没有良好的“规则性”，因为神经网络是一个非线性变化的过程；接着我们试图引入噪声来解决传统AE的局限性，但只引入噪声的话，隐空间总得不到完全的覆盖，因此我们将encoder的点输出转换成分布输出；之后，一是为了避免重构误差过大，二是为了避免VAE退化成传统AE，我们引入KL Loss，以实现将分布逼近标准正态分
2020-12-08 11:35:13
1021
原创 EM算法总结：从 ELBO + KL散度出发
一、概述假设有如下数据：X : observed dataZ : latent variable(X,Z) : complete dataθ\thetaθ : parameterEM算法的目的是解决解决带有隐变量的参数估计问题(MLE,MAP)，从 ELBO + KL 散度角度来看，EM算法主要是迭代以下两个步骤：二、收敛性证明以下两个定理能够保证EM算法的收敛性：这里主要证明一下定理9.1：三、算法的导出这里主要从 ELBO + KL散度的角度进行EM算法
2020-12-07 20:45:27
1456
原创 《贝叶斯网引论》之一：概率论基础
第1章 概率论基础本章主要是理清概率论中的一些概念，包括：基本概念：样本空间：随机实验的所有可能结果组成的空间样本点/原子事件：随机实验的任一可能结果事件：样本空间的子集，原子事件的集合概率测度：给样本空间中的每一事件赋予一个0~1之间的数值（即概率），具有规范性、非负性和有限可加性随机变量：定义在样本空间上的函数，取值随实验结果而定，随机变量的所有可能取值的集合称为值域/状态空间，即P(X)概率函数：在样本空间中，一次随机试验的结果在令随机变量X取值为x的所有可能结果的集合中的概率，
2020-10-10 21:00:10
187
原创 python刷leetcode：＜树系列＞
297-二叉树的序列化与反序列化题目要求：请实现两个函数，分别用来序列化和反序列化二叉树。解法一：基于先序遍历class Codec: def serialize(self, root): """Encodes a tree to a single string. :type root: TreeNode :rtype: str """ def helper(root,l):
2020-07-26 15:44:39
93
原创 《统计学习方法》-决策树
注：文本是学习完《统计学习方法》后的回顾总结，且决策树的思想都比较简单，因此本文只讲做法文章目录1. ID3算法2. C4.5算法3. ID3与C4.5算法的剪枝4. CART算法4.1 回归树4.2 分类树5. CART的剪枝一般来说，ID3与C4.5生成的决策树只用于分类，CART决策树则分类和回归问题都能使用1. ID3算法ID3算法中最关键的一点就是如何选择特征去划分子集：答案就是信息增益，具体如下：计算划分之前，数据集D的熵H(D)：H(D)=−∑k=1K∣Dk∣∣D∣log∣.
2020-07-19 18:30:41
237
原创 多项式朴素贝叶斯算法
注：本文主要由《统计学习方法》整理而来，文中公式所针对的是多项式朴素贝叶斯模型一、朴素贝叶斯的学习与分类朴素贝叶斯的算法分成以下两步：基于条件独立假设，计算联合分布基于贝叶斯定理，针对输入x，求出后验概率最大的输出y因此下面也从这两个步骤来解析朴素贝叶斯算法。1.1 联合分布的计算由P(X,Y)=P(X∣Y)P(Y)P(X,Y)=P(X|Y)P(Y)P(X,Y)=P(X∣Y)P(Y)可得，联合分布的计算可转换为求P(X∣Y),P(Y)P(X|Y),P(Y)P(X∣Y),P(Y)两项，而.
2020-07-16 17:20:59
3987
原创 深入浅出PageRank算法
文章目录一、引例二、有向图三、随机游走模型四、PageRank算法的基本定义五、PageRank算法的一般定义六、PageRank的计算6.1 幂法6.2 迭代法6.3 代数法注：文本主要是学习完统计学习方法的复习概括一、引例出国留学时，如果带有教授的推荐信，往往能起到事半功倍的作用，那如何定义一封推荐信能帮我们自身提高多大的竞争力呢？主要取决于两部分因素：教授自身的影响力：给你写推荐信的教授越权威，那么他的推荐信就越能帮你证明你的实力教授给多少人写了推荐信：即便一个教授很权威，如果他给全世界每
2020-07-15 23:22:11
1165
原创 手撕代码：梯度下降及其优化算法
文章目录一、batch梯度下降 VS mini-batch梯度下降二、mini-batch梯度下降三、测试：batch梯度下降四、测试：动量梯度下降五、测试：Adam梯度下降一、batch梯度下降 VS mini-batch梯度下降当数据量达百万级别时，即使采取向量化技术进行batch梯度下降，所需时间也比较久。此时可将数据集分成多批，每一个小批量的数据集则称为mini-batch。两者实现...
2020-02-03 20:36:53
434
原创 手撕代码：初始化、正则化和梯度检验
首先先给出绘制决策边界的函数：def plot_decison_boundary(model,X,y): x_min,x_max = X[0,:].min()-1 , X[0,:].max()+1 y_min,y_max = X[1,:].min()-1 , X[1,:].max()+1 h = 0.01 #meshgrid(a,b)将a纵向排列，将b横向排列，组...
2020-02-02 11:29:04
186
原创 手撕代码：从logistic回归到多层神经网络的构建
本文主要介绍从logistic回归到双层神经网络，再到多层神经网络的主要步骤的代码实现，篇幅有限，暂不涉及原理与公式推导：一、logistic回归logistic回归的过程如下所示（本文不再赘述）：logistic回归的主要代码实现如下所示：正向传播：正向传播的公式如下：Z=WT⋅X+bZ=W^T·X+bZ=WT⋅X+b，其中Z.shape=1×m，W.shape=n×1...
2020-01-31 15:25:54
264
转载 简洁易懂：利用栈实现二叉树的前序、中序、后序遍历
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...
2019-11-04 21:09:56
7996
3
原创 linux服务器上遇到UnicodeEncodeError: 'ascii' codec can't encode characters in ordinal not in range(128)的问题
做课表小程序的时候遇到了一个问题：在windows系统的pycharm和cmd都能正常运行的python代码，在linux服务器上跑时却报错：UnicodeEncodeError: ‘ascii’ codec can’t encode characters in ordinal not in range(128)，如图所示：一开始以为是utf-8的编码问题，尝试了很多诸如encode,dec...
2019-10-26 21:45:27
1105
原创 推荐系统实践笔记3
3.1 冷启动问题简介1. 用户冷启动：主要解决如何给新用户做个性化推荐的问题利用用户注册时提供的年龄、性别等数据做粗粒度的个性化推荐(3.2节)让用户在注册登陆时收集用户的兴趣信息(对多种物品进行评分，选择喜欢的物品类别等)(3.3节)利用用户的社交帐号登陆，导入其好友信息，推荐给用户其好友喜欢的东西2. 物品冷启动：主要解决如何将新物品推荐给可能对它感兴趣的用户的问题利用新物...
2019-09-09 21:11:08
236
原创 推荐系统实战笔记2
推荐系统实践2协同过滤：所有用户齐心协力，通过与网站的互动，不断过滤掉自己不感兴趣的物品2.1 用户行为数据显性反馈行为：评分和喜欢/不喜欢等直接表达喜好的行为隐性反馈行为：如页面浏览等不能明确用户喜好的行为，一般分析用户会话日志得到该行为数据2.2 用户行为分析以用户购买过的物品数代表用户活跃度，以购买过该商品的用户数代表物品流行度以物品流行度K为横坐标，以流行度为K的...
2019-09-08 21:10:11
275
原创 推荐系统实践笔记1
第1章 好的推荐系统1.1 什么是推荐系统面对信息过载的问题，搜索引擎满足了用户有明确需求时的查找需求，推荐系统则帮助没有明确需求的用户发现他们感兴趣的内容互联网时代，传统的二八原则受到挑战，电子商务网站上长尾商品(即冷门商品)的总销售额不容小看，而个性化推荐系统可以更好的发掘物品的长尾1.2 个性化推荐系统的应用1.3 推荐系统评测推荐系统实验方法离线实验：无法计算商业上...
2019-09-08 20:58:58
176
原创 逻辑回归公式推导
一、预测函数：1.第一个式子称为sigmoid函数，先了解一下sigmoid函数：通过sigmoid函数与线性回归预测函数的联立，即可得到逻辑回归的预测函数2.即是说，逻辑回归的预测函数实际上是：①通过线性回归的预测函数得到一个预测值（连续值）②接着把这个连续值丢进sigmoid函数得到一个概率值（0到1之间）③若概率值大于0.5，归为一类；若概率值小于0.5，归为一类（...
2019-06-03 20:20:18
324
1
原创 线性回归公式推导总结
1.预测函数：2.代价函数：假设每一个对象的预测值与真实值的误差为ε，即：则由中心极限定理可知：当样本数量很多时，可假设误差ε的分布符合均值μ=0，方差为σ^2的高斯分布，即：现在的任务是在所有可能的θ中，寻找一个最适合的θ，使得误差ε呈高斯分布的可能性最大，则由似然函数有：对等式两边同时取对数求极大似然，即：综上，代价函数为：三、梯度下降：...
2019-06-03 20:19:21
667
1
原创 python cookbook笔记（1.11~1.20）
1.11:命名切片（使代码更清晰）内置的 slice() 函数创建了一个切片对象。所有使用切片的地方都可以使用切片对象。###### 0123456789012345678901234567890123456789012345678901234567890'record = '....................100 .......513.25 ..........'#直接...
2019-06-03 13:26:46
167
原创 python cookbook笔记（1.1~1.10）
1.1~1.2：解压可迭代对象赋值给多个变量（字符串，文件对象，迭代器和生成器）若变量数量与可迭代对象的元素个数相同，直接使用赋值语句>>> data = [ 'ACME', 50, 91.1, (2012, 12, 21) ]>>> name, shares, price, date = data>>> name'ACME'&...
2019-05-30 23:10:10
129
转载 [转载]浅谈全概率公式和贝叶斯公式
一、条件概率公式 举个例子，比如让你背对着一个人，让你猜猜背后这个人是女孩的概率是多少？直接猜测，肯定是只有５０％的概率，假如现在告诉你背后这个人是个长头发，那么女的概率就变为９０％。所以条件概率的意义就是，当给定条件发生变化后，会导致事件发生的可能性发生变化。 条件概率由文氏图出发，比较容易理解： &nbs...
2019-05-25 11:54:58
776
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人