7 Qiuyun.Zou

尚未进行身份认证

我要认证

个人博客: qiuyun-blog.cn

等级
TA的排名 7w+

贝叶斯估计理论

本篇博客,主要参考Steven M.K的fundamentals of statistical processing第一卷第十一章个人博客网站:qiuyun-blog.cn系统模型给定系统模型y=g(x)\boldsymbol{y}=g(\boldsymbol{x})y=g(x)其中x∈RM\boldsymbol{x}\in \mathbb{R}^Mx∈RM是目标信号,其随机性由先验概率...

2019-09-22 11:57:32

期望传播算法及其推导

个人博客:www.qiuyun-blog.cnNotations:Diag(a)\text{Diag}(\boldsymbol{a})Diag(a): a diagonal matrix with a\boldsymbol{a}a being its diagonal element.diag(A)\text{diag}(\mathbf{A})diag(A): a vector fro...

2019-06-14 09:15:32

高斯相乘引理(Gaussian Reproduction Lemma)

个人博客:www.qiuyun-blog.cn高斯PDF标量实高斯分布N(x∣a,A)=12πAexp⁡[−(x−a)22A]\mathcal{N}(x|a,A)=\frac{1}{\sqrt{2\pi A} }\exp \left[{-\frac{(x-a)^2}{2A} }\right]N(x∣a,A)=2πA​1​exp[−2A(x−a)2​]标量复高斯分布Nc(x∣a...

2019-05-06 20:20:01

变分推断

变分推断(variational Inference, VI)是机器学习的一种算法,被用于后验概率的近似。本篇博客给出了变分推断的详细推导以及其在贝叶斯线性回归的应用,详见我的个人博客:www.qiuyun-blog.cn主要内容包括:[1] 变分推断的详细推导过程;[2] 变分推断在贝叶斯线性回归中的应用。...

2019-04-19 21:27:29

回归问题初步之线性回归

分类和回归是机器学习的两大基本问题,本篇博客介绍了基本的线性回归问题,详见我的个人博客:www.qiuyun-blog.cn主要内容包括:[1] 一元线性回归[2] 多元线性回归[3] 贝叶斯线性回归...

2019-04-17 20:04:28

线性高斯模型中互信息与MMSE关系

对于标量线性高斯模型y=γX+N∼N(0,1)y=\sqrt{\gamma}X+N\sim \mathcal{N}(0,1)y=γ​X+N∼N(0,1),其中γ>0\gamma>0γ>0表示信噪比,有dI(X;Y)dγ=12MMSE\frac{\text{d} I(X;Y)}{\text{d}\gamma}=\frac{1}{2}\text{MMSE}dγd...

2019-04-17 19:50:28

期望最大算法

期望最大算法(Expectation Maximization,EM)是属于基于似然函数估计的一种算法。本篇博客主要介绍了EM算法以及EM在通信领域的应用。详见我的个人博客:www.qiuiyun-blog.cn主要内容包括:[1] 介绍EM算法的由来[2] 推导EM算法[3] 介绍基于EM算法的信道估计方法...

2019-04-16 09:51:53

支持向量机

本篇博客介绍了支持向量机的引出以及相关的理论,详见我的个人博客:www.qiuyun-blog.cn博客内容主要包括:[1] 支持向量机定义的引出[2] 对偶问题[3] 核函数[4] 软间隔[5] 支持向量回归...

2019-04-16 09:45:52

线性高斯模型的估计方法

针对线性高斯模型y=Hx+w\boldsymbol{y}=\boldsymbol{Hx}+\boldsymbol{w}y=Hx+w,本篇博客总结归纳了,几种较为经典的算法,主要包括[1] 最小二乘估计 (Least square, LS)[2] 最大似然估计 (Maximum likelihood, ML)[3] 最小均方误差估计 (minimum mean square error, MM...

2019-04-14 11:28:58

稀疏贝叶斯学习推导过程

前言稀疏贝叶斯学习(Spare Bayesian Learning),在信号处理所覆盖的多个领域至今都有着重要应用。关于稀疏贝叶斯的详细的介绍,可以参考文献[1][2]。本篇博客给出了简要的稀疏贝叶斯的推导过程, 详细见网址:www.qiuyun-blog.cn.参考文献[1] Buchgraber T. Variational sparse Bayesian learning: Centr...

2019-04-14 11:10:46

压缩感知综述

最近整理的一份压缩感知综述,见网址:www.qiuyun-blog.cn主要包括:[1] 信号的稀疏分解;[2] 感知矩阵条件;[3] 经典的压缩感知重构算法。可下载PDF文件...

2019-04-14 10:57:24

Hubbard-Stratonovich Transform

Theorem 1: H-S transform in real domain (scalar)ex2=η2π∫exp⁡(−η2z2+2ηxz)dz,∀x,ηe^{x^2}=\sqrt{\frac{\eta}{2\pi}}\int \exp \left({-\frac{\eta}{2}z^2+\sqrt{2\eta}xz}\right)\text{d}z, \quad \forall x,\...

2018-09-27 21:51:23

The property of Gaussian

Assume x∼N(a,A)x∼N(a,A)\boldsymbol{x} \sim \mathcal{N}(\boldsymbol{a},\boldsymbol{A}), prove that Px∼N(Hx,PAPT)(266)(266)Px∼N(Hx,PAPT)\begin{align}\boldsymbol{P}\boldsymbol{x}\sim \mathcal{N}(\bold...

2018-08-09 08:58:29

克拉美-罗下界(Cramer-Rao Lower Bound,CRLB)

对于参数估计问题,目前存在着很多估计算法。那么如何去衡量一个算法的性能,我们主要出于考量三个方面无偏性(unbiased)。对于参数估计问题,设置未知参数θθ\theta,估计器模型θ^θ^\hat{\theta}。则有E[θ^]=θE[θ^]=θ\mathbb{E}[\hat{\theta}]=\theta。对于估计对象为随机变量,则有E[θ^]=E[θ]E[θ^]=E[θ]\mathbb...

2018-07-24 22:04:53

深度学习笔记之主成分分析

我们通过一个有损压缩的例子来介绍主成分分析(Principal components analysis, PCA)。 Example 假设我们有mmm个数据点{x(1),⋯,x(m)}{x(1),⋯,x(m)}\left\{{\boldsymbol{x}^{(1)},\cdots,\boldsymbol{x}^{(m)}}\right\},其中数据维度为x(1)∈Rnx(1)∈Rn\bolds...

2018-07-13 20:26:09

复数矩阵相乘的扩展矩阵计算方法

Matlab是矩阵计算语言,其最基本的存储单位就是矩阵。在诸多信号处理领域,我们所涉及到的信号都是复数信号,那么matlab如何处理复数矩阵呢? 假设矩阵AA\boldsymbol{A}和BB\boldsymbol{B}为复数矩阵,当我们运用matlab计算两个矩阵的乘积时(矩阵AA\boldsymbol{A}和BB\boldsymbol{B}满足矩阵相乘的维度条件),我们可以直接在命令窗口输入A...

2018-07-04 21:44:18

Stein引理(Stein's lemma)

Stein’s lemma:假设XXX是均值为μμ\mu,方差σ2σ2\sigma^2的高斯随机变量(Gaussian random variable)。进一步假设映射ggg存在期望E[g(X)(X−μ)]E[g(X)(X−μ)]\mathbb{E}[g(X)(X-\mu)]和E[g′(X)]E[g′(X)]\mathbb{E}[g'(X)],则有 E[g(X)(X−μ)]=σ2E[g′(X)]...

2018-06-26 21:25:23

矩阵正态分布

正态分布关于正态分布的由来,在文章《正态分布的前世今生》中写的很清楚,正态分布是由二项分布而来。正态分布的密度形式首次发现是在棣莫弗-拉普拉斯中心极限定理中。读者可以通过以下几个链接深入了解正态分布的含义 正态分布的前世今生(上) 正态分布的前世今生(下) 为什么正态分布如此常见棣莫弗-拉普拉斯中心极限定理 设随机变量Xn(n=1,2,⋯)Xn(n=1,2,⋯)X_n(n=1,2,...

2018-02-27 23:08:18

高斯相除

The distribution of Complex Gaussian is (1)Nc(x|a,A)∝exp⁡[−(x−a)HA−1(x−a)]" role="presentation" style="position: relative;">Nc(x|a,A)∝exp[−(x−a)HA−1(x−a)](

2018-01-26 23:20:41

高斯PDF的性质及其推论

0 符号声明(1)粗体字表示矢量或者矩阵,如x\boldsymbol{x}表示NN维矢量。 (2)N(x|μ,Σ)\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})表示随机矢量x\boldsymbol{x}是服从均值为μ\boldsymbol{\mu}、协方差矩阵为Σ\boldsymbol{\Sigma}的高斯PD

2017-12-28 13:27:34

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。