涑月听枫-CSDN博客

原创 python install错误：error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++

2、“下载” → “Visual Studio 2015 update 3” → 选择“Visual C++ Build Tools for Visual Studio 2015 with Update 3” 并勾选“DVD”格式 → “Download”Method 1：直接通过链接 “https://visualstudio.microsoft.com/visual-cpp-build-tools/” 安装 Visual Studio。优点是简单粗暴，但是缺点是需要时间较长，并且需要占用较大的内存。

2022-11-21 21:27:44 2871 2

原创 Revisiting the Transferability of Supervised Pretraining: an MLP Perspective 论文解读与感想

可以看到在训练开始阶段，三种方式的特征混合度还是不相上下的，随着训练进行，SL的特征混合度迅速下降，这说明在SL训练的开始阶段，其学习的特征是浅层特征，随着训练进行，其利用语义标签将浅层特征整合成了深层特征，然而这种特征整合也降低了特征的泛化性。2、到了stag5，网络的特征已经非常深了，此时SL的精度反而开始迅速下降。可以看到，相比于Byol，SL和SL-MLP在前4阶段的精度都更高，然而第5阶段是SL的精度突然下降，而添加了MLP的SL在第5阶段虽然精度上升的幅度没有很高，但是明显阻止了下降的趋势。

2022-09-25 18:07:06 325

原创 MISF:Multi-level Interactive Siamese Filtering for High-Fidelity Image Inpainting 论文解读与感想

在传统图像inpainting模型中，预测核模型是一类非常经典且有效的模型(其基本思想是一个像素点通过一个像素点周围的像素进行加权更新得到新的像素点)，并且其不会受到上面两个问题的困扰。为此作者企图将预测核的方式引入到深度学习模型中，此外，相比较于传统模型，深度学习模型有着更深层次的图像特征的概念，因此作者将其进一步从图像等级的预测核推广到特征等级的预测核。其主要表达了在自编码的过程中修复的特征在经过滤波前(绿色)和经过滤波后(红色)与真实图像的特征的相关性。层中间特征，作者通过专属的网络来获得预测核。

2022-09-18 21:12:11 2176 3

原创 Rethinking Minimal Sufficient Representation in Contrastive Learning 论文解读和感想

我们知道不同增强样本所包含的信息是不同的（否则对比学习就成为了一个恒等映射），因此不同增强样本所适应的下游任务也是有差别的，但是如果学习的表征只包含共享信息，而丢弃了不共享的任务相关信息（学习最小充分表征），势必会造成提取的表征对某些下游任务性能下降。对比学习通过最大化不同增强样本的互信息进行训练，因此其学习目标是样本的充分表征，而由于训练时不同增强样本是相互监督的，因此其学习目标也就等价于获得不同增强样本的最小充分表征。2、最小充分表征，充分表征中最小的表征，即包含且仅包含所有增强样本的共享表征的表征。

2022-09-04 21:50:10 584

原创 Pooling Revisited: Your Receptive Field is Suboptimal 论文解读和感想

不同的数据集的信息分布在不同空间方向上是有偏向的，而传统网络对于不同方向的感受野都是一样的，这就导致该关注的地方关注不足，不该关注的地方过度关注。作者给出了一个很极端的例子：假如我们要提取条形码图像数据的信息，那么显然沿着竖直方向的感受野大小是没有意义的，因为数值方向的信息都是重复的(可以将其理解为这个方向上信息密度极低)，因此我们只有增加水平方向的感受野才有意义。可以看到由于高度被拉长了，因此理论上竖直方向的信息密度变低了，所以为了用最小的感受野抓住更多的信息，网络自适应的增大了水平方向的感受野。...

2022-08-28 10:42:10 923

原创 Decoupled Contrastive Learning 论文解读和感想

然后本文以SimCLR为例，通过对对比损失的梯度进行分析，发现了导致上面2、3的原因，并且在不改变网络结果的前提下提出了一种超简洁的优化方式。3、当batch太小时，可以看成是无监督分类(对正负样本的二分类)任务变得过于简单，作为结果，会导致上面两张情况同时发生。的分布会趋向于0，并且其协方差也会变大，反映在模型上就是训练会变得极不稳定。由于对称性，可以很容易的推出其第二个view的梯度。因此，想要避免这三种情况对训练的影响，可以转化成避免。→无穷时，权重项恒等于1。会变得很小，由此被减项会趋向于1，即。.

2022-08-07 22:09:59 764 1

原创 Contrastive Deep Supervision论文解读和感想

然而本文对这个方法进行了更深入的思考：在深度学习中，通常浅层网络注意的是图像的纹理、结构等低级视觉信息，随着网络的深入，会逐渐向语义等高级特征过渡，这种由浅到深的特征过渡是非常关键的，如果强制网络的浅层和深层都去学习高级图像特征(或者都去学习低级图像特征)，这就会破坏这种过渡关系，反而使得网络性能下降。通过图(a)可以看出，监督学习在训练时，浅层网络的特征通常是任务无关的，深度监督则强制改变了浅层特征的分布，使其任务相关，在实际任务中会使得训练的网络泛化性降低。由于没有分类监督，(5)中的。...

2022-08-07 21:32:34 1285

原创 Deep Semantic Statistics Matching (D2SM) Denoising Network 论文解读和感想

这使得我自觉的联想到了17年cvpr的一篇做图像transfer的文章“pixel2pixel”，在这篇文章中作者提出了一种新的鉴别器，即鉴别目标并不是整个图像的真假，而是图像中某一区域的真假，这种GAN架构也被称之为PatchGAN)。这是由于鉴别器要想拉近生成结果和真实结果的分布，就要先学习两个分布，而生成结果的分布是一直在变的，因此鉴别器就要一直去适应这种变化，而鉴别器的不稳定又会反过来引起生成器的不稳定。将同一个域的样本的相关性建模成概率分布的形式已经有很多的方法，作者在这里选择了用。...

2022-07-24 21:53:30 1120

原创 RePaint: Inpainting using Denoising Diffusion Probabilistic Models 论文解读和感想

在22年CVPR中，DDPM生成范式终于是对image inpainting任务下手了，本文作为第一个使用DDPM方法进行image inpainting的文章，其题目也是平平无穷（褒义）。首先本文对image inpainting任务又挖了一个新坑：作者提出，以往的image inpainting方法可以表示为xc=G(x⊙(1−m),m)x_c = G(x \odot (1-m),m)xc=G(x⊙(1−m),m)，可以看到在inpainting的时候，生成模型G()G()G()是以掩码矩阵mmm

2022-06-26 20:11:33 2207 6

原创 Image Super-Resolution via Iterative Refinement 论文解读和感想

随着20年DDPM的提出，近两年提出了大量基于Denoising Diffusion的图像处理模型，本文便是谷歌在21年 CVPR提出的基于Denoising Diffusion的图像超分模型。Image SR已经是低级视觉任务中元老级别的任务了，存在大量的基于不同的生成范式的Image SR模型，但是作者开局便对几种基于常见的生成范式的模型不足点进行了概括：首先是自回归模型，虽然其模型间接，想法直观，但是对于高分辨率图像，其计算量实在太大。然后是正态流模型（Normalizing Flows）和VAE模

2022-06-26 16:56:29 4014

原创 Learning Statistical Texture for Semantic Segmentation论文解读和个人感想

Learning Statistical Texture for Semantic Segmentation本文是2021 CVPR的一篇关于图像语义分割的文章。在图像处理领域，传统数字图像处理方法有着很好的可解释性，并且每一个方法的目的都很明确；而深度模型通常可以取得更好的效果，然而缺乏可解释性。本文的有趣之处在于，本文通过神经网络对图像特征提取，并将提取的特征用于传统数字图像处理技术，是一种新的深度与传统的结合方式。本文的出发点首先本文提出，相比于高级图像特征，低级图像问题，特别是类似于语义分割

2022-05-01 12:27:36 761 1

原创 Long-tailed Recognition by Routing Diverse Distribution-Aware Experts

最近看了一篇2021 ICML关于long-tail distributed数据分类问题的文章，觉得很有趣，故写个简单的笔记来记录一下，顺便推广给更多感兴趣的朋友。首先long-tail distributed数据学习的难度有两点：①、由于尾部数据的数据量通常非常有限，因此对尾部数据进行充分学习是一个难点。②、由于不同class的数据分布差异很大，因此如何使得学习结果尽可能无偏也是一个难点。以往解决long-tail distribution数据学习有两个方法：①、对尾部数据进行重采样或是对头部数据进行欠

2022-04-17 15:27:15 3573

原创 On the Integration of Self-Attention and Convolution

本文是2022 CVPR的一篇关于将卷积和self-attention进行组合，从而提高下游任务性能的文章。卷积和self-attention是图像特征提取时常用的两大范式，然而二者的优缺点也都十分明显，为了融合二者的优点，本文从一种新的角度对二者进行了比较，并提出了一种新的图像特征提取范式，这种范式同时有着卷积和self-attention的优势，又将计算量控制在可接受范围之内。首先我们先来看一下作者是如何来对比卷积和self-attention的：对于卷积，作者将其公式化为了：假设输入和输出特征

2022-04-10 11:54:57 1137 3

原创 Image Inpainting via Conditional Texture and Structure Dual Generation 论文解读和感想

Image Inpainting via Conditional Texture and Structure Dual Generation 论文解读和感想背景和动机本文是一篇2021年ICCV的关于图像inpainting的文章。从题目就可以看出，本文依然是通过图像边缘信息来辅助图像inpainting。以往这类模型在纹理信息和结构信息修复和通常是割裂进行的，或者是先单独进行结构信息修复，在用其辅助整个图像的修复。然而本文却指出，由于在inpainting过程中，纹理信息和结构信息在修复时是相互影响的

2022-04-03 16:10:26 2985 4

原创 PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering 论文解读和感想

PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering 论文解读和感想背景和动机本文21年上旬发表于CVPR的关于无监督语义分割的文章。我个人不是专门做语义分割领域的，感觉无监督语义分割还是一块待开垦的沃土，做语义分割的小伙伴们可以尝试这个方向。首先本文针对之前无监督语义分割存在的两个问题：1、分割时不同class的object像素点数量的不平衡问题语义分割是像素级的分类问题，

2022-03-27 10:28:49 4552

原创 Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes 论文解读和感想

Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes背景和动机本文的基本出发点和SPG相似，都是通过获得缺失图像的完整语义分割图像，然后通过语义分割图像引导缺失图像的修复。但是相对于最原始的SPG模型，本文提出了其两个不足之处：1、在混合场景，直接从缺失图像预测真实图像的语义分割信息是一个困难的任务，而不准确的语义分割信息将会极大降低后续图像inpainting的质量。2、图像inpainting和语义分割

2022-03-13 16:21:50 6295 4

原创 SPG-Net: Segmentation Prediction and Guidance Network for Image Inpainting 论文解读和感想

SPG-Net: Segmentation Prediction and Guidance Network for Image Inpainting背景和动机对于图像inpainting任务，直接将缺失图像映射成完整图像会使得结果过于平滑以及存在人造伪影，为了克服这个问题，一系列通过构造先验信息，然后再通过先验信息引导后续图像inpainting的模型便诞生了。这些模型里面比较有名的两个流派一个是以图像edge作为先验信息（开山之作：EdgeConnet），另一个是以图像的语义分割信息作为先验，其开山之

2022-03-13 11:02:32 5788 1

原创 PD-GAN: Probabilistic Diverse GAN for Image Inpainting

最近对于image inpainting的研究开始向生成结果的多样性开始转变。传统image inpainting方法虽然也可以生成貌似真实的完整图像，但是这些模型有一个根本性的问题：它们默认了输入的缺失图像应该对应某一个完整图像，然后将生成的图像与真实的完整图像通过重建误差来优化网络。这显然是不合理的。就如艺术品修复一样，对于同一件艺术品，不同的艺术家对其修复的结果肯定是不一样的，但是这些修复结果都是合理的(艺术家自身水平达标的前提下)，因此，如果将缺失图像用ImI_mIm来表示，完整图像用IgI_gI

2021-05-30 19:46:27 2766 2

原创 High-Fidelity Pluralistic Image Completion with Transformers

以往的image inpainting模型通常是基于CNN的网络来进行的(不仅是image inpainting，自从CNN出现以来，几乎所有的图像处理模型都是基于其进行的)。然而作者对于这一直以来的传统提出了一个问题：CNN在进行特征提取的时候，每个像素只与周围的卷积核大小的像素有关，这就使得其无法获得全局结构信息。因此，作者在这篇文章中首次提出使用最近大火的image transformer来解决这个问题。本文基本思路：CNN可以生成细致的texture信息，然而难以获取全局结构信息；相反，trans

2021-05-30 15:30:44 1381

原创图像超分辨率之 GLEAN论文解读与感想

本文出发点：对于图像超分，目前主流方法有两种：其一是已经非常完善的基于GAN的图像重建。生成器接受一个LR图像，并将其上采样为一个SR图像，鉴别器负责度量生成的图像和真实高分辨率图像的差异。这样的方法要求生成器既要提取并保留LR图像的结构信息，同时生成尽量真实的高分辨率texture信息，这对于生成器来说，尤其是在高放大倍数的任务中，是很难的，由此造成的问题包括但不限于：生成图像模糊，生成图像有着虚假的纹理信息。另一种最近新兴起的方法是探索GAN的逆变换(GAN Inversion)。给一个这类方法的经

2021-05-23 19:59:14 1703 3

原创因果推断用于图像处理的方法总结

在图像任务中，因果模型针对的最后任务可以是多种多样的，然而其生效的核心思想却都大同小异：在模型对图像进行高纬特征提取时，更加关注我们认为的与结果相对应的因果信息，而尽量忽视背景等与目标的虚假相关性。因果推断基本理论告诉我们，要想实现P(Y∣X)=P(Y∣do(X))P(Y|X)=P(Y|do(X))P(Y∣X)=P(Y∣do(X))，一个经典的方法就是对YYY和XXX的虚假相关变量ZZZ进行干涉(将其条件限定)，从而切断XXX与ZZZ的backdoor。如何从输入图像中将XXX和ZZZ进行分离(或者是二者的

2021-05-07 09:22:29 2888 3

原创 Generative Interventions for Causal Learning——因果推断干预图像生成过程

随着近期因果推断的热门，一系列通过因果干预网络进行因果特征学习的模型也被提出。这些模型大多是通过对输入输出数据之间的因果图进行分析，通过人为切断非因果部分与网络输出结果之间的相关性，从而达到将传统模型转换为因果模型的效果。本文便是近期提出的一个用于训练因果分类器的方法。本文出发点传统的模型训练方法通过是基于数据驱动的统计学习方法，在模型训练的过程中并不会对因果特征和干扰特征加以区分，这便会造成许多隐性的问题，尤其，当训练数据分布于测试数据分布不相符时，这些问题便会暴露出来。一个典型的例子，在ImageN

2021-04-25 18:19:49 2966 1

原创 Proactive Pseudo-Intervention——因果推断与对比学习结合，用于寻找因果特征

Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models是2021年发表在CVPR上的一篇关于因果推断与对比学习相结合的文章。本文出发点当前深度学习模型大多是基于统计模型的数据驱动方式来学习，这种黑盒子的方式虽然可以直接通过数据来学习其隐含的相关性，但是也存在着许多的问题，例如：模型的可解释性差，以及当数据量不足或者数据类别分布不均匀时，模型出现的过拟合现

2021-04-22 18:42:16 1499 1

原创 counterfactual generation network——因果推断用于提高分类器鲁棒性

因果推断本是一个小众方向，但是感觉近几年突然火了起来，本文便是2021年发表于ICLR的一篇将因果推断用于提高图像分类的文章。本文出发点先说一下本文针对的问题：我们知道图像分类任务就是将输入网络的图像尽量映射成我们想要的输出结果(通常是一个one-hot编码)。网络最终输出的label，是图像的多个特征共同作用的结果，因此对于通常的分类器，我们并不能保证其分类标准是按照我们人类想的那样进行的。例如说我们想对一头奶牛进行分类，我们的训练图像多是黑白相间的奶牛站在草地上，虽然我们人去判断图像是否是一只奶牛的

2021-04-18 19:51:16 2431

原创图像去噪之 Noise2Sim 和 Noise2Same

引言图像去噪问题是图像生成领域经典的low level问题，最初的图像去噪网络需要配对的噪声图像xix_ixi和干净图像yiy_iyi，去噪网络fθf_{\theta}fθ通过argmin⁡θ∣∣f(xi;θ)−yi∣∣(1)arg\min_{\theta}||f(x_i;\theta)-y_i\tag{1}||argθmin∣∣f(xi;θ)−yi∣∣(1)对网络进行优化。然而由于实际应用中配对数据难以获得，因此Jaakko Lehtinen 等人在2018年发表的N2N1中提出可以使用

2021-03-21 17:58:18 1794 1

原创图像去噪之 Noise2Noise 和 Noise2Void

背景图像去噪声是图像生成领域经典的病态问题。以往的图像去噪模型通常需要将噪声图像xix_ixi和对应的干净图像yiy_iyi成对输入网络中对网络进行训练：argmin⁡θ∑iL(f(xi,θ),yi)(1)arg\min_{\theta}\sum_iL(f(x_i,\theta), y_i ) \tag{1}argθmini∑L(f(xi,θ),yi)(1)其中θ\thetaθ代表需要优化的网络参数。然而在实际问题中，成对的训练图像往往是不易获得，甚至无法获得的，因此一系列抛弃干净图像，

2021-03-18 19:42:24 7671 8

原创图像超分辨率之 USRNet 论文解读与感想

本文是2020年较早的一篇关于单图像超分的文章。本文针对于non-blind情况，即已知LR图像，下采样方法，模糊核，噪声的情况下，求对应的HR图像。不同于传统的方法，本文提出了一种model-based和learning-based相结合的方法，对解决超分辨率问题开辟了一个新的途径。文章切入点：当前的退化图像还原方法主要分为两种，一种是model-based方法，就是通过将问题公式化，然后通过不断迭代结果，最终得到一个令人较为满意的解。作者提出这种方法虽然有着一定的灵活性（可以将不同的下采样倍数，模.

2021-03-14 16:41:01 1831

原创图像风格转换之 CUT 论文解读与感想

Contrastive Learning for Unpaired Image-to-Image Translation（CUT）是发布于2020年ECCV的一篇关于图像风格转换的文章。本文最大的特点就是将目前大热的对比学习应用到了图像风格转换问题上来，实现了一种轻量级的图像风格转换模型，并且本文可以进一步实现单张图片之间的风格转换。文章切入点无配对图像风格转换领域近些年来最成功和最经典的模型无疑就是CycleGAN了，CycleGAN通过两组风格转换网络GA2BG_{A2B}GA2B和GB2AG_{

2021-03-11 20:12:39 3750 9

原创图像超分辨率之 UDVD 论文解读与感想

Unified Dynamic Convolutional Network for Super-Resolution with Variational Degradations 作为2020年的一篇关于超分辨率的顶会（CVPR）文章，本文在前人的基础框架（SRMD）上提出了一种新的动态卷积（dynamic convolutions）方法，并以此组建了一种新的超分辨率框架。...

2021-03-09 20:50:09 433

原创图像超分辨率之 Correction Filter for Single Image Super-Resolution 论文解读与感想

前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot a

2021-02-20 20:03:33 510

原创图像超分辨率之 DRN 论文解读与感想

图像超分辨率之 DRN (Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution)论文解读与感想DRN是在2020年顶会（CVPR）上发表的一篇想法简单，但是结果非常不错的文章。先来说一下文章的切入点：首先，对于图像超分辨率，可以说是一个经典的病态问题（ill-posed problem）。因为一个高分辨率图像可以通过不同的下采样（downscaled）方法获得不同的低分辨率图像，这也就是论文

2021-02-17 12:46:14 2730 2

原创关于TensorFlow-gpu出现nan原因

之前由于都在训练小规模样本，电脑一直用的都是TensorFlow cpu版，今天心血来潮，将电脑的TensorFlow改成了gpu版，想信心满满的跑一下之前的程序，结果出现了问题：本该迅速下降的训练loss一直卡在 nan 上。我的电脑除了TensorFlow换成了gpu版的，其他设置一概没有动，程序也是在之前cpu版TensorFlow上运行完美，所以我开始的时候一脸黑人问号！！！后来经过排查，发现了问题：程序读取数据后，经过第一次训练返回了一个全是nan的数组，这说明问题出在模型训练上，而模型的结构是

2020-06-12 15:57:00 2594 11

常用数据集all.zip

Python淘宝评论爬取

空空如也