「已注销」-CSDN博客

原创期望传播算法及其推导

个人博客：www.qiuyun-blog.cnNotations:Diag(a)\text{Diag}(\boldsymbol{a})Diag(a): a diagonal matrix with a\boldsymbol{a}a being its diagonal element.diag(A)\text{diag}(\mathbf{A})diag(A): a vector fro...

2019-06-14 09:15:32 5726 1

原创压缩感知综述

最近整理的一份压缩感知综述，见网址：www.qiuyun-blog.cn主要包括：[1] 信号的稀疏分解；[2] 感知矩阵条件；[3] 经典的压缩感知重构算法。可下载PDF文件...

2019-04-14 10:57:24 1211

原创克拉美-罗下界（Cramer-Rao Lower Bound，CRLB）

对于参数估计问题，目前存在着很多估计算法。那么如何去衡量一个算法的性能，我们主要出于考量三个方面无偏性(unbiased)。对于参数估计问题，设置未知参数θθ\theta，估计器模型θ^θ^\hat{\theta}。则有E[θ^]=θE[θ^]=θ\mathbb{E}[\hat{\theta}]=\theta。对于估计对象为随机变量，则有E[θ^]=E[θ]E[θ^]=E[θ]\mathbb...

2018-07-24 22:04:53 44256 15

原创高斯噪声与中心极限定理

切比雪夫不等式辛钦大数定律特征函数设随机变量X1,X2,⋯,Xn{{X}_{1}},{{X}_{2}},\cdots ,{{X}_{n}}是相互独立同分布的随机变量序列，且具有相同的数学期望E(Xi)=μ (i=1,2,3,⋯)E({{X}_{i}})=\mu \text{ }(i=1,2,3,\cdots )，作前个随机变量的算数平均值1n∑i=1nXi\frac{1}{n

2016-08-15 05:28:29 6107 2

原创贝叶斯估计理论

本篇博客，主要参考Steven M.K的fundamentals of statistical processing第一卷第十一章个人博客网站：qiuyun-blog.cn系统模型给定系统模型y=g(x)\boldsymbol{y}=g(\boldsymbol{x})y=g(x)其中x∈RM\boldsymbol{x}\in \mathbb{R}^Mx∈RM是目标信号，其随机性由先验概率...

2019-09-22 12:09:50 2984

原创高斯相乘引理（Gaussian Reproduction Lemma）

个人博客：www.qiuyun-blog.cn高斯PDF标量实高斯分布N(x∣a,A)=12πAexp⁡[−(x−a)22A]\mathcal{N}(x|a,A)=\frac{1}{\sqrt{2\pi A} }\exp \left[{-\frac{(x-a)^2}{2A} }\right]N(x∣a,A)=2πA1exp[−2A(x−a)2]标量复高斯分布Nc(x∣a...

2019-05-06 20:20:01 2665 5

原创变分推断

变分推断（variational Inference, VI）是机器学习的一种算法，被用于后验概率的近似。本篇博客给出了变分推断的详细推导以及其在贝叶斯线性回归的应用，详见我的个人博客：www.qiuyun-blog.cn主要内容包括：[1] 变分推断的详细推导过程；[2] 变分推断在贝叶斯线性回归中的应用。...

2019-04-19 21:27:29 618

原创回归问题初步之线性回归

分类和回归是机器学习的两大基本问题，本篇博客介绍了基本的线性回归问题，详见我的个人博客：www.qiuyun-blog.cn主要内容包括：[1] 一元线性回归[2] 多元线性回归[3] 贝叶斯线性回归...

2019-04-17 20:04:28 252

原创线性高斯模型中互信息与MMSE关系

对于标量线性高斯模型y=γX+N∼N(0,1)y=\sqrt{\gamma}X+N\sim \mathcal{N}(0,1)y=γX+N∼N(0,1)，其中γ>0\gamma>0γ>0表示信噪比，有dI(X;Y)dγ=12MMSE\frac{\text{d} I(X;Y)}{\text{d}\gamma}=\frac{1}{2}\text{MMSE}dγd...

2019-04-17 19:50:28 1174 1

原创期望最大算法

期望最大算法（Expectation Maximization，EM）是属于基于似然函数估计的一种算法。本篇博客主要介绍了EM算法以及EM在通信领域的应用。详见我的个人博客：www.qiuiyun-blog.cn主要内容包括：[1] 介绍EM算法的由来[2] 推导EM算法[3] 介绍基于EM算法的信道估计方法...

2019-04-16 09:51:53 346

原创支持向量机

本篇博客介绍了支持向量机的引出以及相关的理论，详见我的个人博客：www.qiuyun-blog.cn博客内容主要包括：[1] 支持向量机定义的引出[2] 对偶问题[3] 核函数[4] 软间隔[5] 支持向量回归...

2019-04-16 09:45:52 289

原创线性高斯模型的估计方法

针对线性高斯模型y=Hx+w\boldsymbol{y}=\boldsymbol{Hx}+\boldsymbol{w}y=Hx+w，本篇博客总结归纳了，几种较为经典的算法，主要包括[1] 最小二乘估计（Least square, LS）[2] 最大似然估计（Maximum likelihood, ML）[3] 最小均方误差估计 (minimum mean square error, MM...

2019-04-14 11:28:58 5317

原创稀疏贝叶斯学习推导过程

前言稀疏贝叶斯学习（Spare Bayesian Learning），在信号处理所覆盖的多个领域至今都有着重要应用。关于稀疏贝叶斯的详细的介绍，可以参考文献[1][2]。本篇博客给出了简要的稀疏贝叶斯的推导过程，详细见网址：www.qiuyun-blog.cn.参考文献[1] Buchgraber T. Variational sparse Bayesian learning: Centr...

2019-04-14 11:10:46 5211 8

原创 Hubbard-Stratonovich Transform

Theorem 1: H-S transform in real domain (scalar)ex2=η2π∫exp⁡(−η2z2+2ηxz)dz,∀x,ηe^{x^2}=\sqrt{\frac{\eta}{2\pi}}\int \exp \left({-\frac{\eta}{2}z^2+\sqrt{2\eta}xz}\right)\text{d}z, \quad \forall x,\...

2018-09-27 21:51:23 600 2

原创 The property of Gaussian

Assume x∼N(a,A)x∼N(a,A)\boldsymbol{x} \sim \mathcal{N}(\boldsymbol{a},\boldsymbol{A}), prove that Px∼N(Hx,PAPT)(266)(266)Px∼N(Hx,PAPT)\begin{align}\boldsymbol{P}\boldsymbol{x}\sim \mathcal{N}(\bold...

2018-08-09 08:58:29 256

原创深度学习笔记之主成分分析

我们通过一个有损压缩的例子来介绍主成分分析（Principal components analysis, PCA）。 Example 假设我们有mmm个数据点{x(1),⋯,x(m)}{x(1),⋯,x(m)}\left\{{\boldsymbol{x}^{(1)},\cdots,\boldsymbol{x}^{(m)}}\right\}，其中数据维度为x(1)∈Rnx(1)∈Rn\bolds...

2018-07-13 20:26:09 1589

原创复数矩阵相乘的扩展矩阵计算方法

Matlab是矩阵计算语言，其最基本的存储单位就是矩阵。在诸多信号处理领域，我们所涉及到的信号都是复数信号，那么matlab如何处理复数矩阵呢? 假设矩阵AA\boldsymbol{A}和BB\boldsymbol{B}为复数矩阵，当我们运用matlab计算两个矩阵的乘积时（矩阵AA\boldsymbol{A}和BB\boldsymbol{B}满足矩阵相乘的维度条件），我们可以直接在命令窗口输入A...

2018-07-04 21:44:18 6605 1

原创 Stein引理（Stein's lemma）

Stein’s lemma：假设XXX是均值为μμ\mu，方差σ2σ2\sigma^2的高斯随机变量（Gaussian random variable）。进一步假设映射ggg存在期望E[g(X)(X−μ)]E[g(X)(X−μ)]\mathbb{E}[g(X)(X-\mu)]和E[g′(X)]E[g′(X)]\mathbb{E}[g'(X)]，则有 E[g(X)(X−μ)]=σ2E[g′(X)]...

2018-06-26 21:25:23 10407 1

原创矩阵正态分布

正态分布关于正态分布的由来，在文章《正态分布的前世今生》中写的很清楚，正态分布是由二项分布而来。正态分布的密度形式首次发现是在棣莫弗-拉普拉斯中心极限定理中。读者可以通过以下几个链接深入了解正态分布的含义正态分布的前世今生（上）正态分布的前世今生（下）为什么正态分布如此常见棣莫弗-拉普拉斯中心极限定理设随机变量Xn(n=1,2,⋯)Xn(n=1,2,⋯)X_n(n=1,2,...

2018-02-27 23:08:18 7757

原创高斯相除

The distribution of Complex Gaussian is (1)Nc(x|a,A)∝exp⁡[−(x−a)HA−1(x−a)]" role="presentation" style="position: relative;">Nc(x|a,A)∝exp[−(x−a)HA−1(x−a)](

2018-01-26 23:20:41 2022

原创高斯PDF的性质及其推论

0 符号声明（1）粗体字表示矢量或者矩阵，如x\boldsymbol{x}表示NN维矢量。（2）N(x|μ,Σ)\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})表示随机矢量x\boldsymbol{x}是服从均值为μ\boldsymbol{\mu}、协方差矩阵为Σ\boldsymbol{\Sigma}的高斯PD

2017-12-28 13:27:34 3682 3

原创线性高斯模型中如何将Y的高斯PDF转变成X的高斯PDF

回顾：多维高斯分布假设x∼N(μ,Σ)\boldsymbol{x}\sim \mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma})，则x\boldsymbol{x}的概率密度表示如下 pX(x)=1(2π)N/2det(Σ)−−−−−−√exp[−12(x−μ)TΣ−1(x−μ)]\begin{align}p_{\boldsymbol{X}}(\

2017-12-26 11:51:52 560

原创矩阵求逆引理的证明

矩阵求逆引理，或者称Sherman-Woodbury-Morrison公式 (A+BC)−1=A−1−A−1B(I+CA−1B)−1CA−1\begin{align}(\boldsymbol{A}+\boldsymbol{BC})^{-1}=\boldsymbol{A}^{-1}-\boldsymbol{A}^{-1}\boldsymbol{B}(\boldsymbol{I}+\boldsym

2017-07-26 13:37:39 3398 2

原创 Savitzky-Golay 滤波器在心电数据平滑中的应用

大二的时候做过一个三导联心电的项目，采用的处理器是STM32。当时在中文网站很少存在关于这方面的资料，特别是心电数据平滑这一块。之前在国内某一论坛上分享了一下作品以及作品的全部资源，但是大部分的人对心电数据平滑存在着很大的疑惑。于是今天想总结一下，写一个关于SG滤波器的推导。　　首先，我们对NN个数据x[n](n∈[−M,M],N=2M+1)x[n](n\in [-M,M],N=2M+1)，用（

2017-06-25 10:43:08 5464 2

原创似然函数与概率密度函数的区别

在统计学中似然函数(Likelihood function)与概率密度函数(Probability density function)都扮演着重要的角色。本文针对的是其在参数估计（Parameter estimation）中的应用。　　现代估计理论在许多设计用来提取信息的电子信号处理系统中都可以找到，这些系统包括　　在所有的这些系统中，我们都将面对根据连续时间

2017-06-04 16:52:41 16819 5

原创矩阵奇异值分解

Notations: (1)Diag(x)Diag(x)\text{Diag}(\boldsymbol{x})表示以矢量为矩阵对角线元素构成对角阵，如Diag(a,b)=(a00b)Diag(a,b)=(a00b)\text{Diag}(a,b)=\left({ \begin{array}{cccc}a&0\\0&b\end{array} }\right)； (2)粗体符号表示矩...

2017-05-29 17:25:49 3457

原创梯度及最小二乘估计器

概念(Notations)： (1) f\boldsymbol{f} 表示很多个函数的组合(f1(x),f2(x),⋯,fm(x))(f_1(\boldsymbol{x}),f_2(\boldsymbol{x}),\cdots,f_m(\boldsymbol{x})) (2)△f(x)\triangle f(\boldsymbol{x})表示函数f(x)f(\boldsymbol{x})的梯度

2017-05-20 15:25:53 1221

原创所有的多面体都是凸集

凸优化中多面体的定义 P={x|aTix≤bi,i=1,2,⋯,m,cTjx=dj,j=1,2,⋯,p}\begin{align}\mathcal{P}=\left\{{\boldsymbol{x}|\boldsymbol{a}_i^T\boldsymbol{x}\leq b_i, i=1,2,\cdots, m, \boldsymbol{c}_j^T\boldsymbol{x}=d_j, j=

2017-05-13 10:26:15 5361

原创高斯相乘引理及其证明

高斯相乘引理 N(x;a,A)N(x;b,B)=N(0;a−b,A+B)N⎛⎝x;aA+bB1A+1B,11A+1B⎞⎠\begin{equation}\mathcal{N}(x;a,A)\mathcal{N}(x;b,B)=\mathcal{N}(0;a-b,A+B)\mathcal{N} \left({x;\frac{\frac{a}{A}+\frac{b}{B}}{\frac{1}{A}+

2017-05-12 19:22:38 3405

原创高斯随机变量相加得到高斯随机变量的证明

假设X∼N(a,A)X\sim \mathcal{N}(a,A), Y∼N(b,B)Y\sim \mathcal{N}(b,B), 并且XX 与 YY相互独立, 证明 nX+mY∼N(na+mb,n2A+m2B)\begin{equation}nX+mY\sim N(na+mb,n^2A+m^2B)\end{equation} 其中m,nm, n是任意常数，以下分两步给出证明。(1) 假设X

2017-05-12 17:01:28 9059 4

原创剖析连续时间傅里叶变换

前言　　　学习傅里叶级数之后，我们得到一个结论，任何满足狄利克雷条件（Dirichlet Conditions）的周期信号f(t)f(t)可以分解为一串虚指数信号的线性加权和，即傅里叶级数。然而实际上，我们需要处理的信号大多为非周期信号。因此，要想对非周期信号进行频域分析，我们需要得到一个属于非周期信号的“傅里叶级数”。　　在周期信号的分解中，我们选择信号的分解区间为(a−T/2,a+T/2)(

2016-08-26 13:43:25 1959

原创剖析连续时间傅里叶级数

1. 信号的正交分解1.1 矢量的几何分解　　为了理解对信号进行分解的目的，我们先从几何学的角度，体会下平面矢量以及空间矢量的分解。矢量正交定义如下如图1所示，（a）A→=c1vx→+c2vy→\overrightarrow A = {c_1}\overrightarrow {{v_x}} + {c_2}\overrightarrow {{v_y}} ，即将平面矢量A→\overrightarr

2016-08-22 13:33:52 1734

原创深入TR室内定位算法

前言　　刚来实验室的那段时间，我的导师浩川老师让我研究Ray Liu教授所做的室内定位的研究。由于后来决定读博之后，浩川老师给我重新规划了方向，因此室内定位对于我而言算是一个课外扩展的研究方向吧。学习这个也有一段时间了。刚好晚上睡不着，躺在床上也很无聊，于是跑到实验室写点东西，算是对之前学习的一个阶段性总结吧。　　随着无线通信技术尤其是小区技术的发展，定位算法在精度与应用上得到了显著的提高。相对

2016-08-21 02:16:09 2487 7

原创条件概率密度与条件均值

笔者在研究室内定位算法的过程中，有一些论文出现了条件均值。比如x∼f(x)x\sim f(x)，那么该变量的均值为 EX=∫+∞−∞xf(x)dx\begin{equation*}EX=\int_{-\infty }^{+\infty }{xf(x)dx}\end{equation*} 现在需要求解E[X|x>a]E\left[ X|x>a \right]。我们将条件均值进行展开 E[X|

2016-08-16 13:20:11 14999 1