6 JimmyCM

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 7w+

KKT条件(Karush-Kuhn-Tucker Conditions)

Inttoduction上一节我们提到了强对偶,即原问题的最优值与对偶问题的最优值相等。下面我们需要解决怎样找到优化问题的最优解。而KKT条件就是最优解需要满足的条件。KKT条件给定一个一般性的优化问题:min⁡xf(x)subject tohi(x)≤0, i=1,...,mli(x)=0, j=1,...,r\begin{aligned}\min_{x...

2020-03-09 20:12:09

凸优化中的对偶(Duality in General Programs)

Intorduction在上节中,我们讨论了线性规划中的对偶,引入了对偶的基本概念和对偶的两种解释。对偶相当于给当前的优化问题找到了一个下界,通过提升这个下界来找到原问题的最优解。本节将进一步介绍对偶在一般规划问题中的推广。拉格朗日对偶函数考虑一般的最小化问题:min⁡xf(x)subject tohi(x)≤0, i=1,...,mli(x)=0, j=1,...

2020-03-09 16:17:54

线性规划中的对偶(Duality in linear programs)

Introduction对偶(duality)是优化中的一个重要概念,当原问题的最小值很难求解时,我们常常将其变为对偶形式,通过求解对偶问题的最大值,从而得到原问题的最优解。我们从最简单的线性规划问题入手来介绍对偶的概念。线性规划的下界假设我们想要寻找一个凸优化问题的下界(lower bound),即寻找B≤min⁡xf(x)B\leq \min_xf(x)B≤minx​f(x)。以线性规...

2020-03-05 22:14:21

随机梯度下降(Stochastic gradient descent)

总目录一、 凸优化基础(Convex Optimization basics)凸优化基础(Convex Optimization basics)二、 一阶梯度方法(First-order methods)2. 梯度下降(Gradient Descent)3. 次梯度(Subgradients)4. 近端梯度法(Proximal Gradient Descent)5. 随机梯度下降...

2020-03-04 21:37:02

次梯度(Subgradients)

Introduction对于一个可微的凸函数fff,其一阶特性有:f(y)≥f(x)+∇f(x)T(y−x)f(y)\geq f(x)+\nabla f(x)^T(y-x)f(y)≥f(x)+∇f(x)T(y−x)而当凸函数fff是不可微的,我们也可以根据该性质来定义其次梯度。次梯度一个凸函数fff在xxx的次梯度ggg定义为:f(y)≥f(x)+gT(y−x)f(y)\geq f(x...

2020-02-26 19:59:50

梯度下降(Gradient Descent)

梯度下降考虑一个无约束的,平滑的凸优化问题min⁡xf(x)\min_x f(x)xmin​f(x)其中,fff是凸函数,且在定义域dom(f)=Rndom(f)=R^ndom(f)=Rn上是可微的。算法选择一个初始点x(0)∈Rnx^{(0)}\in R^nx(0)∈Rn,重复操作:x(k)=x(k−1)−tk⋅∇f(x(k−1)), k=1,2,3.,..x^{(k)} ...

2020-02-25 22:22:46

凸优化基础(Convex Optimization basics)

凸优化问题一个凸优化问题具有以下基本形式:min⁡x∈Df(x)\min_{x\in D} f(x)x∈Dmin​f(x)subject togi(x)≤0, i=1,...,mg_i(x)\leq 0,\ i=1,...,m gi​(x)≤0, i=1,...,mhj(x)=0, j=1,...,rh_j(x)=0,\ j=1,...,rhj​(x)=0,...

2020-02-23 16:33:01

图像平滑滤波

Introduction滤波是一个信号处理领域的概念。信息通过波的形式传递,滤波就是通过提取相应的频率成分,从而获取有用的信息。图像滤波也是如此。根据提取频率的成分不同,可以将滤波操作分为低通滤波、带通滤波和高通滤波。在图像处理领域,图像低通滤波,也就是图像平滑滤波,是最重要的方向之一。许多与图像相关的工作都需要使用图像滤波做预处理,而图像平滑滤波也广泛应用于图像去噪、图像增强、图像融合、立体视...

2019-10-17 18:08:21

论文笔记:Handheld Multi-Frame Super-Resolution

论文笔记:Handheld Multi-Frame Super-ResolutionIntroduction这是google发表在SIGGRAPH2019上面的一篇超分辨的文章,也就是在自家手机Pixel3中使用的Super Res Zoom技术。在Google AI Blog中已经对该技术做了初步的介绍,而这篇文章则更加详细的介绍了技术实现细节。文章提到所有应用到手机相机中的超分算法,都...

2019-09-07 16:19:56

What's new in image denoising - 图像去噪进展

What‘s new in image denoising最近看了不少论文,闲下来对这些文章做一个总结,把握一下这个领域发展的一些小趋势吧。下面总结主要以去噪方法为主,辅助介绍一些图像复原任务中的通用方法。Let’s do it!下面主要从以下几个方面介绍:数据预处理网络结构多任务结合和先验数据预处理RAW vs RGB现在越来越多的去噪方法应用于RAW域。RAW域与RGB域比...

2019-05-09 15:25:23

论文笔记:Learning Denoising from Single Noisy Images

Introduction上次看过文章Noise2Noise(简称为N2N吧),其使用noisy-noisy image pairs对网络进行训练,可以达到使用noisy-clean image pairs的效果。但在N2N中,使用的noisy-noisy image pairs要求有相同的图像内容带有不同的噪声,即(s+n,s+n′)(s+n, s+n')(s+n,s+n′),...

2019-02-28 20:18:02

VST in Denoising

Introduction经典的图像去噪方法都是将噪声建模为加性高斯白噪声(AWGN),而真实图像的噪声并不严格服从AWGN。比如对于RAW图像来说,其噪声分布服从Poisson-Gaussian分布。因此,我们有两种方法来应对这种差别:根据实际观察到的噪声分布建立新的噪声模型,以此来提出新的去噪方法;将观察到的噪声分布转化为AWGN,用现有的去噪方法处理;VST(variance st...

2018-10-25 18:42:08

近端梯度法(Proximal Gradient Descent)

近端梯度法(Proximal Gradient Descent)在凸优化问题中,对于可微分的目标函数,我们可以通过梯度下降法(gradient descent)迭代求解最优解,而对于不可微分的目标函数,通过引入次梯度(subgradient)也可以迭代求解最优解,然而比起梯度下降法,次梯度法的速度比较缓慢。为此,针对于一些整体不可微分但却可以分解的目标函数来说,我们可以使用一种更快的算法——近端...

2018-10-15 18:30:28

论文阅读:FFDNet:Toward a Fast and Flexible Solution for CNN based Image Denoising

IntroductionFFDNet是Zhang Kai的一篇承前启后之作,从DnCNN到FFDNet再到CBDNet是一个网络的泛化过程,处理的对象从均匀的高斯噪声变成更加复杂的真实噪声。DnCNN利用Batch Normalization和residual learning可以有效地去除均匀高斯噪声,且对一定噪声水平范围的噪声都有抑制作用。然而真实的噪声并不是均匀的高斯噪声,其是信号依赖的,...

2018-09-26 09:43:21

论文阅读:Burst photography for high dynamic range and low-light imaging

IntroductionGoogle HDR+ 技术曾使得Google pixel 2以其单镜头拍照质量超越了众多双摄手机,登顶手机拍照质量排行榜。这篇文章是HDR+初代版本的技术细节的介绍,与其他HDR技术论文相比,其更加注重工程实用化以及整个成像系统,因此也引入了很多工程化的技巧,以求得在手机设备上达到理想效果。 对于手机来说,为了便携化,一般其相机的镜头光圈较小,限制了射入光子的数量,...

2018-09-06 11:18:44

论文阅读:An Efficient Statistical Method for Image Noise Level Estimation

Introduction噪声水平估计对于非盲去噪方法是至关重要的,噪声水平估计质量直接影响去噪的质量。这篇文章是2015年ICCV 的一篇文章,针对于加性高斯白噪声,其利用非局部相似块具有低秩性的特性,利用协方差矩阵冗余维度的特征值估计噪声水平,并取得了不错的效果。这篇文章的主要贡献在于 1. 分析了噪声水平和图像patch的协方差矩阵的特征值之间的关系; 2. 提出了一种无参方法在多项式...

2018-09-03 12:07:58

图像去噪数据集

Introduction目前效果出色的深度去噪方法大都采用监督学习的方法,需要采集输入-输出图像对(noisy/noise-free images pairs)建立训练数据集。数据集的建立是关键的任务。数据集的质量将直接决定去噪结果的质量。如何获取尽量多场景的图像数据,如何获得高质量的参考图像(ground truth),是目前研究的热点。The State of ArtsMe...

2018-08-28 14:58:02

论文笔记:Toward Convolutional Blind Denoising of Real Photographs

Introduction这是哈工大与香港理工大Lei Zhang老师课题组合作完成的论文,是今年7月份才在arxiv上放出来。Lei Zhang老师课题组在图像去噪方面一直走在前沿,许多经典工作都是他们提出的,如WNNM、DnCNN等。这一篇也是其在深度图像去噪方面的新的文章。与其前面的工作不同的是,这篇文章主要研究了卷积网络在真实图像上的去噪效果,其主要贡献在于以下几点:提出了...

2018-08-25 15:33:52

自然图像先验与图像复原

Introduction图像复原是图像处理中最重要的任务之一,其包括图像去噪、去模糊、图像修复、超分辨等, 都是底层视觉中被广泛研究的问题。实际中我们得到的图像往往是退化后的图像(如带噪声图像、模糊图像、被采样的图像等): y=D(x)y=D(x)y=D(x)其中,yyy表示观察到的退化图像,xxx是原始图像,D(∙)D(∙)D(\bullet)是退化函数,往往是未知的,在实际的计算中,...

2018-07-28 16:27:17

论文笔记:Noise2Noise: Learning Image Restoration without Clean Data

Introduction这是ICML2018的一篇论文,其由来自英伟达、阿尔托大学和MIT的研究者联合发表。该文章提出了一个很有意思的观点:在某些常见情况下,网络可以学习恢复信号而不用“看”到“干净”的信号,且得到的结果接近或相当于使用“干净”样本进行训练。而这项结论来自于一个简单的统计学上的观察:我们在网络训练中使用的损失函数,其仅仅要求目标信号(groundtruth)在某些...

2018-07-20 16:28:18

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。