- 博客(30)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 Fast Template Matching and Update for Video Object Tracking and Segmentation学习笔记
Fast Template Matching and Update for Video Object Tracking and Segmentation学习笔记一、创新点传统视频对象跟踪和分割算法步骤第一步，是对当前帧进行实例分割，生成候选提案池。第二步，根据目标模板信息，进行匹配过程，在所有候选方案中找到正确的方案作为最终结果。第三步，是使用当前帧的预测完全替换目标模板。本文作者主要针对后两者的不足进行改进，具体改进如下：（1）为了改进第二步，论文中提供了一种简单的方式，通过选择匹配方法(基
2022-03-29 22:21:08
412
原创 Deep Reinforcement Learning for Visual Object Tracking in Videos学习笔记
Deep Reinforcement Learning for Visual Object Tracking in Videos学习笔记1.主要贡献（1）我们提出并开发了一种新的用于视觉跟踪的卷积循环神经网络模型。该方法直接利用深度学习模型的能力自动学习空间和时间约束。（2）我们的框架是使用深度RL算法进行端到端训练的，在这种算法中，模型经过优化，以在长期内最大限度地提高跟踪性能。（3）我们的模型是完全离线训练的。当应用于在线跟踪时，只需计算一次前向传递，无需在线微调，允许我们以超出实时的帧速率运行
2022-03-03 22:39:10
494
原创 Real-time visual tracking by deep reinforced decision making学习笔记
Real-time visual tracking by deep reinforced decision making学习笔记1.拟解决问题 目标跟踪中，目标模板的不可预测和剧烈变化的解决方法主要是模板更新等，而模板的不准确和错误更新会导致跟踪器漂移，因此作者提出了一种基于强化学习的模板选择策略。2.算法详解2.1 网络模型 这个模型分为两个部分，第一部分是一个匹配网络，它通过在给定搜索图像中定位目标模板来生成预测热图；第二部分是一个策略网络，生成从匹配网络获得的预测图的归一化分数。其中
2022-02-22 15:56:11
136
原创 ADNet学习笔记
Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning学习笔记1.基本原理 本文模型叫做ADNet。该模型通过强化学习产生动作序列（对bbox进行移动或者尺度变换）来进行跟踪。原理如下图（第一列代表初始帧，第二列和第三列代表通过RL产生的动作序列对object进行tracking）：2.算法详解2.1 网络结构 ADNet是通过监督学习和强化学习来进行预训练，并在实际跟踪过程中使用在线自适应
2022-02-14 22:46:28
3369
原创 强化学习入门
强化学习入门1.基本概念PDF（概率密度函数）：连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。PMF（概率质量函数）：概率质量函数是离散随机变量在各特定取值上的概率。随机采样：根据事物出现的概率进行采样。为了方便理解，下面都将采用超级马里奥进行说明State：状态当前帧的画面就可以用来表示一个状态，通常情况下不同时间点具有不同的状态。Action：动作Agent：做动作的人或事物等从上图我们可以看
2022-01-04 12:07:18
287
原创 GlobalTrack:A Simple and Strong Baseline for Long-term Tracking学习笔记
GlobalTrack学习笔记论文：https://arxiv.org/abs/1912.08531代码：https://github.com/huanglianghua/GlobalTrack1.背景 长期跟踪的一个关键在于更大的区域（通常是整个图像）中搜索目标，以应对目标丢失。作者提出GlobalTrack进行全局实例搜索的跟踪器；GlobalTrack基于two-stage的目标检测器，根据单个查询图像作为指导，对任意实例进行全图像和多尺度搜索。最重要的是不需要在线学习，也不需要对位置或尺度
2021-12-27 21:50:42
2054
原创 LightTrack：Finding Lightweight Neural Networks for Object Tracking学习笔记
LightTrack学习笔记1.背景 目前，最先进的跟踪器变得越来越沉重和昂贵，这限制了他们在资源有限的应用程序的部署，通常有两种方法可以解决复杂性和效率的问题，第一种是量化和剪枝，第二种是更精简的网络结构设计，而本文提出了一种利用NAS来自动设计轻量级模型的方法，使搜索的跟踪器能够在资源有限的硬件平台上搞笑地进行跟踪。2.贡献（1）第一次将NAS用于目标跟踪领域，并开发了一个新的one-shot NAS公式，并使用他来寻找更好的跟踪结构。LightTrack将所有可能的网络架构编码成一个主干超
2021-12-20 19:57:16
835
原创 EfficientNet学习笔记
EfficientNet学习笔记1.论文思想在之前的一些论文中，有的会通过增加网络的width即增加卷积核的个数（增加特征矩阵的channels）来提升网络的性能如图(b)所示，有的会通过增加网络的深度即使用更多的层结构来提升网络的性能如图©所示，有的会通过增加输入网络的分辨率来提升网络的性能如图(d)所示。而在本篇论文中会同时增加网络的width、网络的深度以及输入网络的分辨率来提升网络的性能如图(e)所示：根据以往的经验，我们不难发现：（1）增加网络的深度depth能够得到更加丰富、复杂的特征
2021-12-13 22:35:14
3239
原创 CCNet学习笔记
CCNet学习笔记1.拟解决的问题（1）长依赖可以来捕获有利于当前任务的上下文信息，这些信息对于视觉理解人物是很重要的。在语义分割任务中基于FCN的语义分割框架取得了很好的成果，但是由于卷积核固定的结构，使其只能接受短程的上下文信息，为了捕获长依赖信息，后面的研究者们设计出了扩张卷积、空间金字塔等方法，然而这些方法并不能生成密集的上下文信息。（2）为了获取密集的上下文信息，研究者们将attention mechanism引入到了语义分割任务中，但是这些基于注意力机制的方法需要生成巨大的注意力图来计算每
2021-11-18 20:02:24
3659
原创 Hybrid Dilated Convolution学习笔记
Hybrid Dilated Convolution学习笔记1.膨胀卷积也叫空洞卷积，是在普通卷积的基础上加了一个空洞率，如下图所示：上图就是一个空洞率为2的空洞卷积，以3×3为例，算上空洞率为2的卷积核应该为5×5，添加像素添加0。2.为什么要引入膨胀卷积？因为maxpooling进行池化操作后，一些细节和小目标会丢失，在之后的上采样中无法还原这些信息，造成小目标检测准确率降低然而去掉池化层又会减少感受野。膨胀卷积的作用（1）增大感受野（2）保持输入特征的宽高3.膨胀卷积的问题栅格效
2021-11-15 20:37:33
7397
6
原创 GCNet学习笔记
GCNet学习笔记1.研究动机本文的是从Non-local Network的角度出发，发现对于不同位置点的attention map是几乎一致的，这表明了non-local中的每个点在计算attention map的时候存在大量的浪费，从而提出了简化的NL，也就是本文的SNL。更进一步地，作者还研究了和SENet的关联，基于SENet和SNL，提出了统一的框架，并结合两者优点提出了GCNet，计算量相对较小，又能很好地融合全局信息。2.具体方法首先是对Non-local Network的分析：左
2021-11-15 11:38:20
4169
原创 Java中List的详细用法
Java中List的详细用法定义：List name = new ArrayList<>()具体方法如下：1.list中添加，获取，删除元素；添加方法是：.add(e)； 获取方法是：.get(index)； 删除方法是：.remove(index)； 按照索引删除； .remove(Object o)； 按照元素内容删除；List<String> person = new ArrayList<>(); person.add("jackie");
2021-11-12 21:33:33
41512
原创 关于Java中Arrays.sort的几种用法
关于Java中Arrays.sort的几种用法首先我关于Arrays.sort使用到的是快速排序，下面我将着重讲解下面三种用法，分别是整体从小到大排序、局部排序以及从大到小排序。1.Arrays.sort(int[] a)这种形式是对数组a进行从小到大排序，直接上代码 1 import java.util.Arrays; 2 3 public class Main { 4 public static void main(String[] args) { 5 6
2021-11-11 14:36:17
134
原创 Faster RCNN之进化史
Faster RCNN之进化史1.RCNN1.1 算法流程（1）在一张图像中通过SS算法生成1K~2K个候选区域（2）对每一个候选区域通过深度网络提取特征（3）特征送入每一类的SVM分类器，判断是否属于该类，之后通过nms为每一类候选框进行筛选。（4）使用回归器精确修正候选框位置1.2 网络模型1.3 RCNN存在的问题（1）测试速度慢：测试一张图片约53s（CPU）。用Selective Search算法提取候选框用时约2s，一张图像内候选框之间存在大量重叠，提取特征操作冗余。（2）
2021-09-25 14:59:07
539
原创 Learning the Model Update for Siamese Trackers学习笔记
Learning the Model Update for Siamese Trackers学习笔记1.模板平均的缺点a.它对每个视频应用恒定的更新速率，尽管多种因素(如相机运动)可能导致不同的更新需求。即使在同一视频中，对象模板上所需的更新也可能在不同时间动态变化。b.沿着模板的所有空间维度，包括通道维度，更新也是恒定的。这防止了仅更新模板的一部分，例如，这在部分遮挡的情况下是理想的。c.跟踪器无法从漂移中恢复。部分地，这是因为它失去了对外观模板T0T_0T0的访问，而外观模板T0T_0T0是
2021-07-27 16:04:11
238
原创 Traget-Aware Deep Tracking学习笔记
Target-Aware Deep Tracking学习笔记这篇文章的亮点就是他们提出的一个target-ware机制，他们认为对于同一个物体，他们对于最后分类的贡献应该是在相同的通道上的。因为跟踪目前都是将分类的网络迁移过来，然而分类的网络其实处理的是多类别的区分，而跟踪就只是处理前景和背景两类，所以直接迁移其实是浪费了很多类别资源，而同一类的物体所激活的通道应该是类似的，所以这篇文章就在通道上加了一个类似dropout的操作，只用到了属于当前跟踪目标所需要的通道。他们用了一个回归的loss去指导通道的
2021-07-18 12:46:14
466
原创 GradNet: Gradient-Guided Network for Visual Object Tracking学习笔记
GradNet: Gradient-Guided Network for Visual Object Tracking学习笔记1.存在问题当下最流行的跟踪就是采用模板匹配的Siamese方式，尽管它在跟踪领域取得了巨大的成功，但是模板也存在一个弊端，就是一旦目标发生很大的形变或者严重的遮挡，甚至和第一帧的给定目标从视觉观感已经看不出是一个目标了，这个时候仍然借助模板去跟踪目标，就不适合了。如果恰好出现了和目标相似类别的另一个目标，网络很可能出现误差漂移现象。2.解决问题本文通过改变模板，不断去适应目
2021-07-10 17:27:13
497
原创 Deformable DETR学习笔记
Deformable DETR学习笔记1.DETR的缺点(1)训练时间极长：相比于已有的检测器，DETR需要更久的训练才能达到收敛(500 epochs),比Faster R-CNN慢了10-20倍。(2)DETR在小物体检测上性能较差，现存的检测器通常带有多尺度的特征，小物体目标通常在高分辨率特征图上检测，而DETR没有采用多尺度特征来检测，主要是高分辨率的特征图会对DETR增加不可接受的计算复杂度。为了解决这两个问题，所以提出了Deformable DETR。2.TransformerCV的
2021-06-29 15:32:32
7710
原创 STMTrack: Template-free Visual Tracking with Space-time Memory Networks学习笔记
STMTrack学习笔记1.拟解决问题当下非常流行的Siamese网络模型，固定第一帧为目标模板，针对模板来作匹配，然而这使得模型应对目标外观变化的能力很差，随后人们提出了使用模板更新策略使得模型能够更好的适应目标外观的变化，然而它需要更多的计算资源，从而使得跟踪器达不到实时跟踪。2.贡献a.提出了一种新的端到端的基于记忆的跟踪框架，它不仅像离线训练的Siamese网络那样简单高效，而且对复杂的模板更新策略具有很强的适应性。b.提出的跟踪框架不在遵循原有的基于模板的跟踪演变路径，为今后开发更多的基
2021-06-24 17:14:58
692
原创 DETR学习笔记
DETR学习笔记1.问题目前的检测方法不是直接预测一个目标的集合，而是使用替代的回归和分类去处理大量的proposals以及anchors。模型的效果会受到一系列问题的影响：后处理去消除大量重叠的预测、anchor的设计、如何把target box与anchor关联起来等问题。2.解决方案简化上述流程，将目标检测视为集合预测的方式，好处是训练与预测变成真正的端到端，无需NMS的后处理，十分方便。同时，也不用人为地预设anchor。3.创新点a.Set-based的全局loss，使用二分图匹配生成
2021-06-21 21:11:30
2586
原创 Object-Adaptive LSTM Network for Real-time Visual Tracking with Adversarial Data Augmentation 学习笔记
OA-LSTM-ADA 学习笔记1.贡献a.我们提出了一种新的目标自适应LSTM网络用于视觉跟踪，它充分利用了序列依赖性，并有效地适应了对象的外观变化。由于其固有的循环结构，网络的内部状态可以在前向传递过程中动态更新。因此，该方法能够在复杂场景下对任意目标进行鲁棒跟踪。b.我们提出了一种快速的建议选择策略，利用基于匹配的跟踪方法来预估计稠密的样本，并选择高质量的样本馈给LSTM网络。该策略直接从搜索区域的特征映射中获取建议特征。通过这种方法，可以有效地减少传统基于分类的跟踪框架中提取提案特征的昂贵计算
2021-06-14 17:04:21
492
4
原创 Ocean学习笔记
Ocean学习笔记1.拟解决的问题基于锚点的Siamese跟踪器在精度方面取得了显著的进步，但其跟踪鲁棒性滞后限制了进一步的提高，其根本原因是回归网络只训练了在正锚点盒上(即IOU>0.6)，这种机制使得与目标物体重叠较小的锚点难以细化...
2021-06-03 20:08:37
1150
原创 SiamRCR学习笔记
SiamRCR学习笔记1.拟解决问题大多数基于Siamese网络的跟踪器都是将分类置信度最大的边界框作为最终的跟踪结果，但是由于分类和回归的精度不一致，该策略可能会错过正确的结果。
2021-05-27 15:39:48
857
原创 D3S – A Discriminative Single Shot Segmentation Tracker学习笔记
D3S – A Discriminative Single Shot Segmentation Tracker1.拟解决问题a. SiamMask未将localization和segmentation联合在一起提升鲁棒性b. SiamRPN中固定的模板目标不能适应动态变化的场景2.解决方法2.1 D3S分割架构
2021-05-25 11:43:58
250
原创 ROAM: Recurrently Optimizing Tracking Model阅读笔记
ROAM: Recurrently Optimizing Tracking Model阅读笔记一、贡献我们提出了一种由可调整大小的响应发生器和包围盒回归器组成的跟踪模型，在每个空间位置上只使用一个大小的锚点，其相应的卷积滤波器可以通过双线性插值来适应形状的变化。我们提出了一个循环神经优化器，它在元学习设置中训练，周期性更新跟踪模型与更快的收敛。我们在OTB、VOT、LaSOT、GOT10k和TrackingNet等大规模数据集上进行了综合实验，我们的跟踪器取得了较先进的性能。二、网络结构该网
2021-05-22 10:22:21
165
原创 Transformer Tracking学习笔记
Transformer Tracking一、贡献提出了一种新的Transformer跟踪框架，包括特征提取、基于Transformer的特征融合网络和预测头模块。基于具有自我注意的自我上下文增强模块和具有交叉注意的交叉特征增强模块开发了特征融合网络。与基于相关的特征融合相比，我们的注意力融合方法自适应地聚焦于边缘和相似目标等有用信息，并在距离较远的特征之间建立关联，使跟踪器获得更好的分类和回归结果。二、网络框架在这里我将就整个框架进行介绍：首先特征提取我们修改了ResNet50网络结构，具
2021-05-06 14:47:45
1951
原创 Correlation-Guided Attention for Corner Detection Based Visual Tracking学习笔记
Correlation-Guided Attention for Corner Detection Based Visual Tracking一、现有的角点检测的跟踪方法存在的局限性直接检测角点的方法由于需要解决模糊问题而变得复杂，背景中对象也会有角点，跟踪器可能很难将它们与被跟踪对象的角点区分开来。现有的方法没能够有效的探索模板和测试对象之间的关系。现有的方法不能从更深层次网络强大的表示能力中获益，而是使用浅层骨干网络和轻量级沙漏网络。...
2021-04-28 17:23:56
721
原创 SiamCorners学习笔记
SiamCorners: Siamese Corner Networks for Visual Tracking 笔记一、创新点引入了一个修改的corner pooling layer,从以往的边界框估计转变为对角预测（左上和右下）引入了一种分层的特征融合策略，可以使得corner pooling模块能够预测深度网络中的跟踪目标的多个角点引入了一个新的惩罚项二、RPN的缺陷anchor数量多，正负样本不平衡导致分类性能下降设计选项较多（anchor数量，大小，纵横比等）三、SiamC
2021-04-21 20:22:39
629
1
C++高级程序程序设计
2020-11-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人