u010067397的专栏

原创 分类网络综述2

欢迎大家随时交流，添加，转发，微信：woxinxie1234

原创 语义分割框架网络系统整理

欢迎转载，如果有ai方面技术交流群也可以随时加我： woxinxie1234，这是我的微信；欢迎交流；

原创 INSTAGAN: INSTANCE-AWARE IMAGE-TO-IMAGE TRANSLATION

原创 2020-Feature Quantization Improves GAN Training

原创 2020-U-GAT-IT- Unsupervised Generative Attentiona

原创 HetConv--Heterogeneous-Kernel-Based-Convolutions-for-Deep-CNNs

whenCVPR 2019what对于深度卷积神经网络而言，准确度和计算成本往往难以得兼，研究界也一直在探索通过模型压缩或设计新型高效架构来解决这一问题。印度理工学院坎普尔分校的一篇 CVPR 论文则给出了一个新的思路——使用异构的卷积过滤器；实验表明这种方法能在保证准确度的同时显著降低计算成本。who （动机）卷积神经网络（CNN）在视觉和自然语言处理领域都已经取得了卓越的表...

原创 Deep-Clustering-for-Unsupervised-Learning-of-Visual-Features

核心观点whoFacebook AI Research2019what聚类(Cluster) 是一种经典的无监督学习方法，但是鲜有工作将其与深度学习结合。这篇文章提出了一种新的聚类方法DeepCluster，将端到端学习与聚类结合起来，同时学习网络的参数和对网络输出的特征进行聚类。作者将DeepCluster成功应用到大规模数据集和一些迁移任务上，性能超过了当前state of...

原创 19-Self-supervised-Visual-Feature-Learning-with-Deep-Neural-Networks-A-Survey

whoLonglong Jing and Yingli Tian ∗ , Fellow, IEEE2019-what为了避免收集和注释大规模数据集的大量成本，作为无监督学习方法的子集，提出了自我监督学习方法，以从大规模未标记数据中学习一般图像和视频特征，而无需使用任何人工标注的标签。一些术语1. Pseudo label:伪标签是基于pretext tasks的数据属性自动...

原创 18-Rethinking-ImageNet-Pre-training

what在目标检测和实例分割两个领域，我们使用随机初始化方法训练的模型，在 COCO 数据集上取得了非常鲁棒的结果。其结果并不比使用了 ImageNet 预训练的方法差，即使那些方法使用了 MaskR-CNN 系列基准的超参数。在以下三种情况，得到的结果仍然没有降低：仅使用 10％ 的训练数据；使用更深和更宽的模型使用多个任务和指标。ImageNet 预训练模型并非必须，Ima...

原创 18-Learning-a-Discriminative-Feature-Network-for-Semantic-Segmentation

whenCVPR 2018what在大量的计算机视觉应用中，语义分割是一项不可或缺的底层技术。旷视科技Face++近期发表的一篇 CVPR 2018 收录论文《Learning a Discriminative Feature Network for Semantic Segmentation 》提出判别特征网络 DFN，有效解决了语义分割的两个基本问题，显著提高了其精度，可以帮助...

原创 Encoder-Decoder-with-Atrous-Separable-Convolution-for-Semantic-Image-Segmentation

whenECCV 2018what空间金字塔池模块或编码 - 解码器结构用于深度神经网络中解决语义分割任务。前一种网络能够通过利用多个速率和多个有效视场的过滤器或池化操作探测输入特征来编码多尺度上下文信息，而后一种网络可以通过逐渐恢复空间信息来捕获更清晰的对象边界。在这项工作中，我们建议结合两种方法的优点。具体来说，我们提出的模型DeepLabv3 +通过添加一个简单而有效的解码...

原创 18-DenseASPP-for-Semantic-Segmentation-in-Street-Scenes

whenCVPR 2018what使用扩张卷积(Atrous Convolution)能够在不牺牲特征空间分辨率的同时扩大特征接收野，DeepLab系列工作结合多尺度信息和扩张卷积的特点提出了ASPP模块，将不同扩张率的扩张卷积特征结合到一起。ASPP模块在尺度轴上特征分辨率还不够密集，获取的接收野还不够大，为此提出了DenseASPP(Densely connected ASP...

原创 18-CCNet-Criss-Cross-Attention-for-Semantic-Segmentation

how下图蓝色点为待处理像素点 ,处理后得到结果为红色点 :（a）是Non-local，含蓝色中心的feature map是输入，分为上下两个分支处理：深绿色分支代表已经完成Non-local操作，得到了 (绿色的深浅则代表了当前位置与蓝色中心点的相关性大小)；下面灰色分支代表进行了 操作。将两个结果相乘，得到 (含红色中心的feature map).（b）即为CC...

原创 18-Non-local-Neural-Networks

whenCVPR 2018何凯明 RGBwhat提出了“非局部神经网络”。受计算机视觉中的经典非局部均值方法的启发而来，非局部网络可以作为一个简单高效的通用模块，嵌入现有视觉模型中，实验证明能够提高图像及视频分类精度，用作者的话说，在视频分类任务上，即使没有任何花里胡哨的处理，我们的非局部模型也能在 Kinetics 和 Charades 数据集上获得与一些当前视觉竞赛的冠军模型相当...

原创 Revisiting-Dilated-Convolution-A-Simple-Approach-for-Weakly-and-Semi-Supervised

when魏云超组的18年cvpr spotwho弱监督语义分割问题的新方法，用扩张卷积得到注意力图，可能能够在GAIN的大框架上面修改why 提出尽管弱监督分割方法取得了显着的进步，但仍然不如全监督的方法。我们认为性能差距主要来自他们学习从图像级监督产生高质量密集对象定位图的限制。为了弥补这种差距，我们重新审视了空洞卷积[1]并揭示了如何以一种新颖的方式利用它来有效地克服弱...

原创 Learning-Pixel-level-Semantic-Affinity-with-Image-level-Supervision

paperwhencvpr18，目前top榜第一。有代码。who基于像素级标签的图像语义分割why 提出分割标签的不足是在自然环境中使用语义分割的主要障碍之一。为了解决这个问题，我们提出了一种新颖的框架，可以根据图像级别的标签生成图像的分割标签。在这种弱监督的环境中，已知训练的模型将局部鉴别部分而不是整个对象区域分割。我们的解决方案是将这种定位响应传播到属于同一语义实...

原创 18-Weakly-Supervised-Semantic-Segmentation-Network-with-Deep-Seeded-Region-Growing

whencvpr18what本文研究了仅使用图像级标签作为监督来学习图像语义分割网络的问题，这一点很重要，因为它可以显着减少人类的标注工作。最近关于该问题的最新方法首先使用深度分类网络推断每个对象类的稀疏和鉴别区域，然后使用鉴别区域作为监督来训练语义分割网络。在种子区域扩展的传统图像分割方法的启发下，我们提出从鉴别区域开始训练语义分割网络，逐步增加种子区域扩展的像素级监督。种子区域...

原创 18-Weakly-Supervised-Semantic-Segmentation-by Iteratively-Mining-Common-Object-Features

whenCVPR 2018who（影响了谁）图像标签监督下的弱监督语义分割是一项具有挑战性的任务，因为它直接将高级语义与低级别外观相关联。为了弥合这一差距，在本文中，我们提出了一个迭代的自下而上和自上而下的框架，它可以扩展对象区域并优化分割网络。why(为什么提出)弱监督的语义分割非常具有挑战性，因为它直接将高级语义与低级别外观相关联。 由于只有图像标签可用，因此大多数先前的工...

原创 17-WILDCAT-Weakly-Supervised-Learning-of-DeepConvNets

who(对谁有效)弱监督图像语义分割where只有图像级标签的数据whenCVPR 2017what（WILDCAT是什么）这篇论文提出了一个框架，可以使用弱监督的方法识别一个物体显著的局部特征。首先我们来直观感受下结果，如下图所示，WILDCAT可以识别狗的头部和腿部信息，从而利用这些信息来对狗进行Localization和segmentation.结构...

原创 16-STC_A_Simple_to_Complex_Framework_for_Weakly-supervised_Semantic_Segmentation

主要思想作者的核心思想是提出了层层递进的三个DCNN，用前一个CNN的结果来作为下一个CNN的结果。具体来讲，作者一共训练了三个网络：Initial DCNN、Enhanced DCNN和Powerful DCNN。分别解释如下：Initial DCNN：其实可以把它当作是一个有显著性检测功能的CNN，但“它”能够知道显著性的物体是什么。具体实现是由DRIF方法生成Saliency M...

原创 16-Seed_expand_and_constrain Three_principles_for_weakly-supervised_image_segmentation

概括Seeding Loss——对目标进行弱定位（weak localization）生成初始maskExpansion Loss——对弱定位的mask进行合理的扩大Constrain-to-boundary Loss——对扩大后的mask进行合理的约束，更贴近目标边界因此将该方法命名为SEC（Seed + Expand + Constrain）创新图像分类神经网络，例如Alex...

原创 16-Scribblesup_Scribble-supervised_convolutional_networks_for_semantic_segmentation

这篇文章提出了一种基于用户交互的图片分割训练方法(ScribbleSup)。即训练者只需要在图片上的小部分区域进行标注(scribble annotation)即可训练分割网络。如下图所示的标注方式（左图：原图；中图：传统的语义分割标注；右图：scribble annotation）：创新语义分割模型的弱监督训练。和其它使用bounding box或者全图语义标注作为监督信息的文...

原创 18-Object Region Mining with Adversarial Erasing

CVPR 2017-oral背景图像语义分割是计算机视觉领域的核心研究问题之一。一般来讲，训练高性能的语义分割模型需要依赖于大量的像素级的人工标注（即标注每个像素点的语义信息）。然而，标注这类的训练样本非常困难，往往需要大量的金钱和时间。为了降低获取训练样本的难度，研究人员提出采用一些相对容易获取的标注作为监督信息（我们称之为弱监督），并用于训练图像语义分割模型。目前这些弱监督信息主要...

原创 16-FCNs in the Wild- Pixel-level Adversarial and Constraint-based Adaptation

如果训练集和测试集数据没有假设的特性，则直接测试，如果有，那么可以先学习数据间的域变换特性，然后辅助分割。动机当训练数据与测试数据不同域的时候，以前的方法很差提出了无监督对抗方式对像素预测问题，包括全局和类别特别的适应技术，假设源域和目标域共享相同的标签空间，并且源模型在目标域上实现的性能大于机会。创新提出无监督域适应方法来迁移FCN结果的图片域；组合全局和局部对齐方...

原创 18-Learning Deep ResNet Blocks Sequentially using Boosting Theory

文章指出一种基于 boosting（提升）原理，逐层训练深度残差神经网络的方法，并对性能及泛化能力给出了理论上的证明参考方法框架残差网络:gt+1(x)=f(gt(x))+gt(x)g_{t+1}(x)=f(g_{t}(x))+g_{t}(x)gt+1​(x)=f(gt​(x))+gt​(x)hypothesis module:ot(x)=softmax(WtT⋅g...

原创 18-Effective Use of Synthetic Data for Urban Scene Semantic Segmentation

动机以前的方法（DeepLab）在合成数据训练，在真实数据上不好之前使用了domain adaptation解决，但是需要再训练中使用真实数据我们提出一种方法，基于背景和前景在domain adaptation中影响不同，我们使用不同方法对待；方法有细节信息的不同背景类对实际场景很重要；框架...

原创 《17.Deep Pyramidal Residual Networks》

what残差结构对比本文也是一种残差结构，只是逐渐增加特征通道数，而不是像以前的一样，在下采样之后双倍特征图。whyResNet参数多了，删除下采样单元（双倍特征维度）仍然导致表现下降how每一个单元特征数目增加网络结构α\alphaα是一个超参数，文中=48；这里不能直接使用恒等映射，因为通道数数目不一样，文中使用zero-padding...

原创 《18.CBAM- Convolutional Block Attention Module》

动机之前有一篇论文提出了SENet，在feature map的通道上进行attention生成，然后与原来的feature map相乘。这篇文章指出，该种attention方法只关注了通道层面上哪些层会具有更强的反馈能力，但是在空间维度上并不能体现出attention的意思。attention不止能告诉网络模型该注意什么，同时也能增强特定区域的表征。本文的CBAM在channel和spat...

原创 《Squeeze-and-Excitation Networks（SENet）》

解读Squeeze-and-Excitation Networks（SENet）动机卷积神经网络已被证明是解决各种视觉任务的有效模型。对于每个卷积层，沿着输入通道学习一组滤波器来表达局部空间连接模式。换句话说，期望卷积滤波器通过融合空间信息和信道信息进行信息组合，而受限于局部感受野。通过叠加一系列非线性和下采样交织的卷积层，CNN能够捕获具有全局感受野的分层模式作为强大的图像描述。最...

原创 《18.BAM- Bottleneck Attention Module》

动机SENet在调整特征权值的时候只是关注了通道间的信息，本文将通道信息和位置信息分别用两个注意力模型实现，然后融合来调整输入特征图的权重。网络结构下面是block可以加入的方式，在原来的网络中加入来调整某些层的权重。整体公式通道注意力模型空间注意力block框架...

原创 《2017-Xception Deep Learning with Depthwise Separable Convolutions》

本论文追求的不是准确率的提高，而是不降低准确率的前提下，减少参数数量，寻找更有的结构；这篇论文是不错的实验模仿对象，以后做实验可以按照本论文的思路探索；动机要解决什么问题？探寻Inception的基本思路，并将这种思路发扬光大。用了什么方法解决？从Inception发展历程的角度，理解其基本思想，并引入与Inception类似的Depthwise Separa...

原创 《17.Residual Attention Network for Image Classification》

动机深度学习中的Attention，源自于人脑的注意力机制，当人的大脑接受到外部信息，如视觉信息、听觉信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。最早将Attention利用在图像处理上的出发点是，希望通过一个类似于人脑注意力的机制，只利用一个很小的感受野去处理图像中Attention的部分，降低...

原创 《2017-Dual Path Networks》论文解读

解读Dual Path Networks（DPN，原创）动机以前方法的不足ResNet： 侧重于特征的再利用，但不善于发掘新的特征；DenseNet: 侧重于新特征的发掘，但又会产生很多冗余；优点关于模型复杂度，作者的原文是这么说的：The DPN-92 costs about 15% fewer parameters than ResNeXt-101 (32 4d)...

原创 《Learning to Compare: Relation Network for Few-Shot Learning》论文阅读

通过对比实现少样本或零样本学习Learning to Compare: Relation Network for Few-Shot Learning动机我们就发现了，我们人之所以能够识别一个新的东西，在于我们人的视觉系统天生的能够对任意物体提取特征，并进行比较。少样本学习一直和元学习（Meta Learning）关系紧密。元学习的目标就是通过学习大量的任务，从而学习到内在的元知识，从而...

原创 《18.Context Encoding for Semantic Segmentation》

语义分割–(EncNet)Context Encoding for Semantic Segmentation动机扩张卷积存在的问题先进的语义分割系统通常是基于FCN架构，采用的深度卷积神经网络受益于从不同图片中学习到的丰富的对象类别信息和场景语义。CNN通过堆叠带非线性激活和下采样的卷积层能够捕获带全局接受野的信息表示，为了克服下采样带来的空间分辨率损失，最近的工作使用扩张卷积...

原创 《End-to-End Learning of Motion Representation for Video Understanding》论文阅读

CVPR 2018 | 腾讯AI Lab、MIT等机构提出TVNet：可端到端学习视频的运动表征动机尽管端到端的特征学习已经取得了重要的进展，但是人工设计的光流特征仍然被广泛用于各类视频分析任务中。为了弥补这个不足而提出；以前的方法：尽管已经有些研究在尝试通过在空间和时间维度上同时执行卷积运算来学习特征，但是人工设计的光流（optical flow）特征在视频分析上仍有广泛和...

原创 《Context Contrasted Feature and Gated Multi-Scale Aggregation for Scene Segmentation》论文阅读

动机第一个工作的动机，（context contrasted local (CCL) model ）作者认为获得有判别力的语义特征以及多尺度融合是提升性能的关键；上下文通常具有平滑的表示，并且由显着对象的特征支配，这对于标记不显眼的对象和东西是有害的。用于场景分割的更好的特征是有区别的情境感知局部特征，即，在知道上下文信息的同时，像素位置p的特征将不被图像的其他部分支配。第二个...

原创 《2017-Aggregated Residual Transformations for Deep Neural Networks》论文阅读

如何评价谷歌的xception网络？动机传统的要提高模型的准确率，都是加深或加宽网络，但是随着超参数数量的增加（比如channels数，filter size等等），网络设计的难度和计算开销也会增加。本文提出的 ResNeXt 结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量；贡献作者在这篇论文中提出网络 ResNeXt，同时采用 VGG 堆叠的思想和 I...

原创 《Learning_object_interactions_and_descriptions_for_sematic_image》论文阅读

动机本文主要是从训练数据的角度来提升CNN分割性能的。由于像素级别标记的样本很少，制作样本成本高。这里直接根据关键词从网络上搜索相关图像，建立了一个数据库 IDW， 结合 VOC12上面的训练数据联合训练，对此设计了一个 IDW-CNN 模型，经过联合训练得到的模型用于分割，性能提升比较大。贡献这是首次将图片描述在不经过手动处理和提炼的情况下用于提高语义分割性能的尝试，IDW数据集包...

原创 《Dilated Residual Networks》论文详解

体会感觉这篇文章的关键不是idea，而是写法；通过实验和公式说明了这样组合的优势；动机之前的卷积神经网络都是通过不断降低图像精度，直到图像被一个仅保留微弱空间信息的特征map表示（一般最后卷积层输出仅为7×7），最后通过计算类别概率来分类图像。这样情况下，尽管前面卷积网络做的很好，但是整个网络却不能获取一个十分精确的结果，例如一个很小的目标对解析图片信息十分重要，但是却被前面卷积网...