善plusplus-CSDN博客

原创多GPU训练Batchsize对显存占用的影响

多GPU训练模型

2022-04-26 10:41:50 2696 1

原创 Real-Time Video Super-Resolution on Smartphones with Deep Learning,Mobile AI 2021 Challenge: Report

这篇文章是2021移动AI竞赛视频超分赛道上的总结报告。关于本次竞赛的介绍可以参看比这之前写的一篇博客

2021-06-02 16:38:35 1275 1

原创移动端推理框架总结Android NNAPI, TFLite GPU, Hexagon NN, Samsung Eden and MediaTek Neuron delegates

近来做模型移植，接触到移动端推理框架，做一个总结：1. Android NNAPI：一个基于安卓系统的可在移动设备上运行与机器学习相关的计算密集型操作的C语言API，NNAPI降为更高层次的构建和训练神经网络的机器学习框架（Tensorflow Lite，Caffe2等等）提供底层支持。这些API将会集成到所有的Android 8.1（以及更高版本）设备上。NNAPI高几层的系统架构如下图所示：相关参数连接：CSDN博主讲解官方文档2. TFLite GPU: TFLite 移动端GPU加.

2021-05-26 10:24:25 3608 2

原创 [实用超分网络大赏]《Real-Time Quantized Image Super-Resolution on Mobile NPUs, Mobile AI 2021 Challenge》

摘要：图像超分是最流行的计算机视觉问题之一，它在移动手机设备上有许多重要的应用。虽然针对该任务已经出现了许多解决方案，这些方案通常不能直接在智能手机的AI硬件上使用，更不用提有更多限制的智能TV平台，这种平台通常只支持INT8推理。为了解决这个问题，我们介绍第一届移动AI挑战赛，挑战赛的目标是发展一个端到端的基于学习的图像超分解决方案，该方案能够在移动手机或者网络NPUs上取得实时的性能表现。因此，所有参赛选手将获得一份DIV2K数据集，训练一个量化模型来高效地3倍上采样一副图像。所有模型将在Synapti

2021-05-21 11:14:55 2807

原创《MLP-Mixer: An all-MLP Architecture for Vision》2021

摘要：卷积网络CNN是计算机视觉中的必用模型。最近，基于注意力机制的网络结构，比如视觉Transformer，也越来越流行。在这篇文章中我们将展示，虽然卷积和注意力机制是获得优良性能的必要结构，但它们都不是必须的。我们提出MLP-Mixer，一个仅仅基于多层感知机(MLPs)的结构。MLP-Mixer包含两种类型的网络层：一种是独立应用于图像patch的多层感知机MLPs(比如 "混合"每个局部特征)。另一个是应用于交叉patches的多层感知机（比如 “混合”空间信息）。当MLP-Mixer在大的数据集上

2021-05-11 21:26:10 1584

原创【重参数化】《Diverse Branch Block: Building a Convolution as an Inception-like Unit》 2021

摘要：我们提出一种通用的卷积网络构造块用来在不增加任何推理时间的前提下提升卷积网络的性能。我们将这个块命名为分离分支块（Diverse Branch Block）。通过结合不同尺寸和复杂度的分离分支（包括串联卷积、多尺度卷积和平均池化层）来增加特征空间的方法，它提升了单个卷积的表达能力。完成训练后，一个DBB(Diverse Branch Block)可以被等价地转换为一个单独的卷积操作以方便部署。不同于那些新颖的卷积结构的改进方式，DBB让训练时微结构复杂化同时维持大规模结构，因此我们可以将它作为任意结构

2021-04-08 14:46:21 3316

原创【视频超分】《Understanding Deformable Alignment in Video Super-Resolution》 2020

摘要：形变卷积，最开始被用来匹配物体的几何变形，最近在对齐多帧图像上表现出优良的性能，逐渐被用在视频超分任务里面。尽管展现出优良的性能，形变卷积做对齐的内在机制依然不明确。在本文中，我们仔细探究了形变对齐和经典的基于光流对齐的联系。我们展示了形变对齐可以被分解为空间warping和卷积的组合。这种分解显示了形变对齐和光流对齐在公式上的共性，但是在偏移多样性上有关键差异。我们进一步通过实验证明在形变对齐中增加多样性能够产生更好的对齐特征，因此极大地提升了视频超分输出的质量。基于我们的观察，我们提出了便宜保真

2021-01-11 09:26:00 631

原创【真实世界图像超分】《Frequency Consistent Adaptation for Real World Super Resolution》2012 Nanjing University

摘要：最近的基于深度学习的超分方法在已知退化核图像上已经展现出卓越的性能。但是这些方法往往在真实世界场景下表现不尽如人意，因为作为训练样本的LR图像通常来自于理想退化核（bicubic下采样），它们不同于真实源图像域。训练样本的LR图像和真实源图像的领域差异在频率密度上被明显观察到。这一点启示我们显示地缩小由不正确的退化造成的领域差异。我们设计了一个频率一致性模块，确保在真实世界场景应用已经存在的超分方法时频率一致。我们从无监督图像中评估退化核然后产生对应的低分辨率图像。为了提供核评估中的有用梯度信息，我们

2020-12-30 17:10:55 623

原创【光流评估】《Optical Flow Estimation using a Spatial Pyramid Network》2016 Tubingen, Germany

摘要：我们通过结合深度学习和经典空间金字塔结构的方式来计算光流。通过使用每个金字塔级别的光流评估warp图像和更新光流，这种方法以一个粗到精的方式评估图像中的大运动。不同于在每个金字塔层级最小化对象函数。我们在每个层级训练网络，以计算光流更新。不像最近的FlowNet光流网络，本网络不需要处理大运动，由网络中的金字塔层级处理大运动。这有几个优点：（1）在模型参数上我们的SpyNet更简单，比FlowNet小96%，这使得网络在嵌入式应用领域非常高效。（2）因为每个层级的光流比较小（小于一个pixel），对一

2020-12-24 10:17:50 1409

原创【视频超分】《Frame and Feature-Context Video Super-Resolution》Fudan University 2019

摘要：对于视频超分任务，当前的SOTA方法要么通过处理一个滑动窗口中的低分辨率（LR）视频帧产生高分辨率(HR)视频帧，要么递归地利用之前输出的HR视频帧超分子序列帧。这些方法的主要缺点是：（1）虽然独立产生每一个视频帧可能获得高质量的HR视频帧，但是它会产生不满意的闪烁结果。（2）虽然递归利用之前的评估HR视频帧在短时间段的信息流中获得时间连续性较好的结果，但是它会产生明显的晃动和锯齿状异常。在这篇文章中，我们提出一种端到端训练的帧和特征上下文视频超分网络，该网络包含两个关键子网络：局部网络（local

2020-12-13 12:36:15 364

原创【视频超分】《BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond》CUHK 2012

摘要：相比图像超分任务，视频超分网络会设计更多模块，因为它多了一个时空维度。因此复杂的设计结构在视频超分网络中是常见的。本文希望解开其中的要点，重新思考指导视频超分网络设计的基础模块，比如网络传播、对齐、聚合和上采样。通过重新设计已有的模块，本文提出了一个简洁的视频超分网络设计框架(BasicVSR)，实验显示本文的方法优于SOTA的视频超分方法。另外，本文在BasicVSR框架的基础上提出了IconVSR超分网络，为了促进信息聚合设计了两个模块（1）信息重新填充机制。（2）成对传播策略。主要贡献.

2020-12-11 14:37:31 2571

原创《Frame-Recurrent Video Super-Resolution》2018 Google 阅读笔记

《Frame-Recurrent Video Super-Resolution》 2018 Google摘要：先前视频超分方法主要通过一个滑动窗口中的视频帧预测一个输出帧，实际上是将视频超分问题视为一个分离的多帧超分任务。这种方法有两个缺点：(1)每一帧被warp了多次，增加了计算代价。（2）模型基础当前帧产生输出帧，使得系统产生时序一致的结果的能力不强。在本文中，我们提出一种端到端的视频超分框架，应用先前的预测结果超分子序列帧，自然产生时序一致的结果，并且在每一步中只需要warp一次输入帧进而减少了计

2020-12-03 11:01:33 282

原创 Install OpenCV3.0 on Ubuntu(linaro)12.04 in ARM

今天尝试用英语写篇技术文档，介绍在ARM板上安装OpenCV3.0。在ARM板上安装软件与我们在Windows下安装软件有很大的不同，究其原因还是ARM架构下的软件不多，许多软件所需要的依赖库无法在ARM板上使用，又或者是在ARM 板上无法安装。做嵌入式开发其实就是经验的积累，一些bug只有你遇到过才知道怎么解决，否则只有自己google查资料解决，这也决定了做嵌入式开发不是一件容易的

2015-07-24 22:34:01 728

原创在i.MX6Q上安装ubuntu(linaro)12.04

一年之前就打算开始写博客，因为各种原因都没能写成。今天终于决定开写，首先说说我的情况吧，我是电子科技大学的一名研究生，正在从事模式识别方向的研究，主要涩及C++编程、计算机视觉和机器学习等科研领域。感慨自身能力有限，希望能够结交一些志同道合的伙伴，一起交流学习，共同进步。我始终相信两个苹果加在一起是两个苹果，而两种思想交流之后就会产生大于二的效果，交流可以反映出自身认识的局限以及激发新的灵感。同时

2015-07-22 20:58:41 1786

u010087277的博客