- 博客(29)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Transformer及其在low-level vision中的应用
Transformer是最近比较火的深度学习模型，它抛弃了传统的CNN和RNN，提出了一种全新的模型架构。借助于新的模型和大规模数据训练，transformer刷新了NLP和CV许多领域的指标，成为这些领域新的SOTA，大有要统一NLP和CV模型的趋势。当然，transformer本身也有许多解释性问题和缺点在被广泛研究改进，但不得不承认这是目前受到关注最多的模型之一了。基于最近看到的一些论文，本文对Transformer的主要观点和在视觉领域，特别是low-level视觉领域的发展做一个简单的总结。
2022-03-13 14:31:36
5779
1
原创 论文笔记：Efficient Multi-Stage Video Denoising with Recurrent Spatio-Temporal Fusion
这是Huawei Noah‘s Ark Lab在CVPR2021上的文章。他们针对于终端设备算力有限的条件下，提出了一种有效的视频降噪算法EMVD，其主要特点在于通过可学习的可逆变换，将图像的亮度和颜色信息，以及不同的频率信息进行分解，在变换域进行图像降噪处理；使用了三级结构，包括时域融合（temporal fusion）、空域降噪（spatial denoising）、时空精修（spatio-temporal refinement）三个阶段，每级结构都有明确的任务和可解释性；使用很小的参数和计算量
2021-07-15 10:47:22
2945
1
原创 论文笔记：ROBUST AND INTERPRETABLE BLIND IMAGE DENOISING VIA BIAS-FREE CONVOLUTIONAL NEURAL NETWORKS
论文笔记：ROBUST AND INTERPRETABLE BLIND IMAGE DENOISING VIA BIAS-FREE CONVOLUTIONAL NEURAL NETWORKS这是ICLR 2020的一篇文章，单位为纽约大学。其主要讨论了通过将网络结构中的所有加性参数去掉，得到无偏置网络（bias-free network）可以在不同的噪声水平下有更好的泛化性能，即使其只在一个非常小的的噪声水平上做训练。对于无偏置网络来说，每个局部位置都可以将网络权重看做是一个滤波器，其自适应于图像结构和噪
2021-07-15 10:04:34
832
1
原创 交替方向乘子法（Alternating Direction Method of Multipliers）
Introduction上一节我们介绍了对偶梯度上升法和增广拉格朗日方法（也叫作乘子法）。在最后我们提到，对偶梯度上升法虽然可以做变量分解，但是需要较强的约束条件保证收敛；而对于乘子法而言，虽然有较好的收敛性，但是却失去了可分解性。那么有没有一种方法可以兼具两种特性呢？那就是本节要介绍的交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）。交替方向乘子法考虑如下形式的问题minx,zf(x)+g(z)subject toAx+
2021-03-31 16:16:41
4091
原创 对偶方法（Dual Methods）
Introduction前一节我们介绍了对偶的应用以及共轭函数的性质。利用这些性质，我们本节讨论基于对偶的方法。对偶梯度法即使我们不能推导出闭合形式的对偶或共轭，我们依然可以使用基于对偶的次梯度法或梯度法（Dual gradient methods）。比如考虑以下问题minxf(x)subject to Ax=b\min_xf(x)\quad subject\ to\ Ax=bxminf(x)subject to Ax=b其对偶问题为maxu−f∗
2021-03-31 11:17:23
4022
1
原创 对偶的应用及拓展（Duality Uses and Correspondences）
Introduction在前几节中我们讨论了对偶。在强对偶条件下，给定对偶问题的最优解u∗,v∗u^*,v^*u∗,v∗，任何使得拉普拉斯方程L(x,u∗,v∗)L(x,u^*,v^*)L(x,u∗,v∗)最小化的xxx都是原问题的最优解。特别是当原问题的解唯一时，其一定是最优解x∗x^*x∗。这使得我们可以借助于对偶来求解原问题的解。本节我们主要讨论跟对偶相关的一些知识及应用。对偶范数令∥x∥\|x\|∥x∥为一个范数（norm）， 定义其对偶范数（dual norm）∥x∥∗\|x\|_*∥x∥∗
2021-03-31 09:41:24
1263
1
原创 图像运动模糊及其去除
Introduction图像去模糊是一个经典的图像复原任务。造成图像模糊的原因有很多，可以主要分为三大类离焦模糊：场景中的物体处于成像景深范围之外而变得模糊。离焦模糊的去除一般对应着景深的扩展技术像差模糊：镜头加工和制造的缺陷造成了物方的一个点在成像平面形成了一个弥散斑运动模糊：成像过程中相机运动或者场景变化所造成的不同空间位置信息的混叠而最常见的图像去模糊技术一般都是针对运动模糊的去除，因为运动模糊往往是拍摄者不想引入拍摄图像的。我们本次就简单介绍一下图像运动模糊的形成和去除。The fo
2021-02-25 18:33:40
16498
1
原创 KKT条件（Karush-Kuhn-Tucker Conditions）
Inttoduction上一节我们提到了强对偶，即原问题的最优值与对偶问题的最优值相等。下面我们需要解决怎样找到优化问题的最优解。而KKT条件就是最优解需要满足的条件。KKT条件给定一个一般性的优化问题：minxf(x)subject tohi(x)≤0, i=1,...,mli(x)=0, j=1,...,r\begin{aligned}\min_{x...
2020-03-09 20:12:09
15806
原创 凸优化中的对偶（Duality in General Programs）
Intorduction在上节中，我们讨论了线性规划中的对偶，引入了对偶的基本概念和对偶的两种解释。对偶相当于给当前的优化问题找到了一个下界，通过提升这个下界来找到原问题的最优解。本节将进一步介绍对偶在一般规划问题中的推广。拉格朗日对偶函数考虑一般的最小化问题：minxf(x)subject tohi(x)≤0, i=1,...,mli(x)=0, j=1,...
2020-03-09 16:17:54
2697
1
原创 线性规划中的对偶（Duality in linear programs）
Introduction对偶（duality）是优化中的一个重要概念，当原问题的最小值很难求解时，我们常常将其变为对偶形式，通过求解对偶问题的最大值，从而得到原问题的最优解。我们从最简单的线性规划问题入手来介绍对偶的概念。线性规划的下界假设我们想要寻找一个凸优化问题的下界（lower bound），即寻找B≤minxf(x)B\leq \min_xf(x)B≤minxf(x)。以线性规...
2020-03-05 22:14:21
7004
4
原创 随机梯度下降（Stochastic gradient descent）
总目录一、 凸优化基础（Convex Optimization basics）凸优化基础（Convex Optimization basics）二、 一阶梯度方法（First-order methods）2. 梯度下降（Gradient Descent）3. 次梯度（Subgradients）4. 近端梯度法（Proximal Gradient Descent）5. 随机梯度下降...
2020-03-04 21:37:02
8816
原创 次梯度（Subgradients）
Introduction对于一个可微的凸函数fff，其一阶特性有：f(y)≥f(x)+∇f(x)T(y−x)f(y)\geq f(x)+\nabla f(x)^T(y-x)f(y)≥f(x)+∇f(x)T(y−x)而当凸函数fff是不可微的，我们也可以根据该性质来定义其次梯度。次梯度一个凸函数fff在xxx的次梯度ggg定义为：f(y)≥f(x)+gT(y−x)f(y)\geq f(x...
2020-02-26 19:59:50
9112
原创 梯度下降（Gradient Descent）
梯度下降考虑一个无约束的，平滑的凸优化问题minxf(x)\min_x f(x)xminf(x)其中，fff是凸函数，且在定义域dom(f)=Rndom(f)=R^ndom(f)=Rn上是可微的。算法选择一个初始点x(0)∈Rnx^{(0)}\in R^nx(0)∈Rn，重复操作：x(k)=x(k−1)−tk⋅∇f(x(k−1)), k=1,2,3.,..x^{(k)} ...
2020-02-25 22:22:46
3292
1
原创 凸优化基础（Convex Optimization basics）
凸优化问题一个凸优化问题具有以下基本形式：minx∈Df(x)\min_{x\in D} f(x)x∈Dminf(x)subject togi(x)≤0, i=1,...,mg_i(x)\leq 0,\ i=1,...,m gi(x)≤0, i=1,...,mhj(x)=0, j=1,...,rh_j(x)=0,\ j=1,...,rhj(x)=0,...
2020-02-23 16:33:01
5813
原创 图像平滑滤波
Introduction滤波是一个信号处理领域的概念。信息通过波的形式传递，滤波就是通过提取相应的频率成分，从而获取有用的信息。图像滤波也是如此。根据提取频率的成分不同，可以将滤波操作分为低通滤波、带通滤波和高通滤波。在图像处理领域，图像低通滤波，也就是图像平滑滤波，是最重要的方向之一。许多与图像相关的工作都需要使用图像滤波做预处理，而图像平滑滤波也广泛应用于图像去噪、图像增强、图像融合、立体视...
2019-10-18 16:51:30
1807
原创 论文笔记：Handheld Multi-Frame Super-Resolution
论文笔记：Handheld Multi-Frame Super-ResolutionIntroduction这是google发表在SIGGRAPH2019上面的一篇超分辨的文章，也就是在自家手机Pixel3中使用的Super Res Zoom技术。在Google AI Blog中已经对该技术做了初步的介绍，而这篇文章则更加详细的介绍了技术实现细节。文章提到所有应用到手机相机中的超分算法，都...
2019-09-07 16:30:43
9236
6
原创 What's new in image denoising - 图像去噪进展
What‘s new in image denoising最近看了不少论文，闲下来对这些文章做一个总结，把握一下这个领域发展的一些小趋势吧。下面总结主要以去噪方法为主，辅助介绍一些图像复原任务中的通用方法。Let’s do it！下面主要从以下几个方面介绍：数据预处理网络结构多任务结合和先验数据预处理RAW vs RGB现在越来越多的去噪方法应用于RAW域。RAW域与RGB域比...
2019-05-09 15:25:23
6542
10
原创 论文笔记：Learning Denoising from Single Noisy Images
Introduction上次看过文章Noise2Noise（简称为N2N吧），其使用noisy-noisy image pairs对网络进行训练，可以达到使用noisy-clean image pairs的效果。但在N2N中，使用的noisy-noisy image pairs要求有相同的图像内容带有不同的噪声，即(s+n,s+n′)(s+n, s+n')(s+n,s+n′)，...
2019-02-28 20:18:02
9263
4
原创 VST in Denoising
Introduction经典的图像去噪方法都是将噪声建模为加性高斯白噪声（AWGN），而真实图像的噪声并不严格服从AWGN。比如对于RAW图像来说，其噪声分布服从Poisson-Gaussian分布。因此，我们有两种方法来应对这种差别：根据实际观察到的噪声分布建立新的噪声模型，以此来提出新的去噪方法；将观察到的噪声分布转化为AWGN，用现有的去噪方法处理；VST（variance st...
2018-10-25 18:42:08
8363
4
原创 近端梯度法（Proximal Gradient Descent）
近端梯度法（Proximal Gradient Descent）在凸优化问题中，对于可微分的目标函数，我们可以通过梯度下降法（gradient descent）迭代求解最优解，而对于不可微分的目标函数，通过引入次梯度（subgradient）也可以迭代求解最优解，然而比起梯度下降法，次梯度法的速度比较缓慢。为此，针对于一些整体不可微分但却可以分解的目标函数来说，我们可以使用一种更快的算法——近端...
2018-10-15 18:30:28
22939
25
原创 论文阅读：FFDNet：Toward a Fast and Flexible Solution for CNN based Image Denoising
IntroductionFFDNet是Zhang Kai的一篇承前启后之作，从DnCNN到FFDNet再到CBDNet是一个网络的泛化过程，处理的对象从均匀的高斯噪声变成更加复杂的真实噪声。DnCNN利用Batch Normalization和residual learning可以有效地去除均匀高斯噪声，且对一定噪声水平范围的噪声都有抑制作用。然而真实的噪声并不是均匀的高斯噪声，其是信号依赖的，...
2018-09-26 09:43:21
16440
4
原创 论文阅读：Burst photography for high dynamic range and low-light imaging
IntroductionGoogle HDR+ 技术曾使得Google pixel 2以其单镜头拍照质量超越了众多双摄手机，登顶手机拍照质量排行榜。这篇文章是HDR+初代版本的技术细节的介绍，与其他HDR技术论文相比，其更加注重工程实用化以及整个成像系统，因此也引入了很多工程化的技巧，以求得在手机设备上达到理想效果。 对于手机来说，为了便携化，一般其相机的镜头光圈较小，限制了射入光子的数量，...
2018-09-06 11:18:44
10152
2
原创 论文阅读：An Efficient Statistical Method for Image Noise Level Estimation
Introduction噪声水平估计对于非盲去噪方法是至关重要的，噪声水平估计质量直接影响去噪的质量。这篇文章是2015年ICCV 的一篇文章，针对于加性高斯白噪声，其利用非局部相似块具有低秩性的特性，利用协方差矩阵冗余维度的特征值估计噪声水平，并取得了不错的效果。这篇文章的主要贡献在于 1. 分析了噪声水平和图像patch的协方差矩阵的特征值之间的关系； 2. 提出了一种无参方法在多项式...
2018-09-03 12:07:58
3639
5
原创 图像去噪数据集
Introduction目前效果出色的深度去噪方法大都采用监督学习的方法，需要采集输入-输出图像对（noisy/noise-free images pairs）建立训练数据集。数据集的建立是关键的任务。数据集的质量将直接决定去噪结果的质量。如何获取尽量多场景的图像数据，如何获得高质量的参考图像（ground truth），是目前研究的热点。The State of ArtsMe...
2018-08-28 14:58:02
28737
56
原创 论文笔记：Toward Convolutional Blind Denoising of Real Photographs
Introduction这是哈工大与香港理工大Lei Zhang老师课题组合作完成的论文，是今年7月份才在arxiv上放出来。Lei Zhang老师课题组在图像去噪方面一直走在前沿，许多经典工作都是他们提出的，如WNNM、DnCNN等。这一篇也是其在深度图像去噪方面的新的文章。与其前面的工作不同的是，这篇文章主要研究了卷积网络在真实图像上的去噪效果，其主要贡献在于以下几点：提出了...
2018-08-25 15:33:52
14160
14
原创 自然图像先验与图像复原
Introduction图像复原是图像处理中最重要的任务之一，其包括图像去噪、去模糊、图像修复、超分辨等， 都是底层视觉中被广泛研究的问题。实际中我们得到的图像往往是退化后的图像（如带噪声图像、模糊图像、被采样的图像等）： y=D(x)y=D(x)y=D(x)其中，yyy表示观察到的退化图像，xxx是原始图像，D(∙)D(∙)D(\bullet)是退化函数，往往是未知的，在实际的计算中，...
2018-07-28 16:27:17
16705
6
原创 论文笔记：Noise2Noise: Learning Image Restoration without Clean Data
Introduction这是ICML2018的一篇论文，其由来自英伟达、阿尔托大学和 MIT 的研究者联合发表。该文章提出了一个很有意思的观点：在某些常见情况下，网络可以学习恢复信号而不用“看”到“干净”的信号，且得到的结果接近或相当于使用“干净”样本进行训练。而这项结论来自于一个简单的统计学上的观察：我们在网络训练中使用的损失函数，其仅仅要求目标信号（ground truth）在某些...
2018-07-20 16:28:18
19135
11
原创 论文笔记：Learning to See in the Dark
Introduction在极低照度环境下，使用短曝光拍照会存在大量噪声和偏色问题，而使用长曝光拍照会造成图像模糊。文章提出了一种低光照图像质量提升的方法。其利用端到端的全卷积网络代替传统图像后处理链路，可直接将传感器RAW数据处理得到可视化的彩色图像。文章主要贡献在于：提出了一种端到端的方法提升极低光照图像的图像质量，主要解决噪声和偏色问题；建立低光照图像库，以短曝光图像与其对...
2018-07-12 22:56:30
4903
7
原创 论文笔记：Burst Denoising with Kernel Prediction Networks
Burst Denoising with Kernel Prediction NetworksIntroduction这是UC Berkeley与Google Research于CVPR2018发表的一篇多图像去噪论文。其提出了一种CNN网络结构可以预测空间变化的核（kernel），利用得到的每个位置的Kernel对图像进行局部配准和降噪。文章基于真实噪声生成模型对ground tru...
2018-07-10 21:39:19
9442
15
空空如也
如何在Android系统利用三维矩阵数据生成三维面形
2015-11-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人