- 博客(44)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Adding Conditional Control to Text-to-Image Diffusion Models 阅读笔记
本文提出了 **ControlNet**，这是一种==用于将空间条件控制添加到大型预训练文本到图像扩散模型中的神经网络架构==。ControlNet 锁定 production-ready 的大扩散模型，并将用数十亿张图像预训练的 deep 且 robust 的编码层重新用作强大的骨干，以学习一组不同的条件控制。神经架构与 **“zero convolutions”**（0初始化卷积层）相连，零卷积层从零开始逐步增长参数，确保没有影响微调的噪声。本文使用 Stable Diffusion，使用单个或多个条件
2023-12-26 16:00:00
902
原创 Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation 阅读笔记
角色动画（Character Animation）旨在通过驱动信号（driving signals）从静止图像中生成角色视频。目前，扩散模型由于其强大的生成能力，已成为视觉生成的主流。然而，在图像到视频领域，尤其在角色动画领域，依然存在很多挑战，在该领域，时间上保持与角色细节信息的一致性仍是一个艰巨问题。
2023-12-19 10:57:29
999
原创 Human Pose as Compositional Tokens 阅读笔记
人体姿态常由身体关节的坐标向量或其热图embedding表示。虽然数据易于处理，但由于身体关节间缺乏依赖建模，即使是不现实的姿态也被接受。本文提出了一种结构化表示：Pose as Compositional Tokens（PCT），以探索关节依赖性，PCT 由M个离散的 token 表示一个姿态，每个token 都表征一个具有几个相互依赖关节的子结构（见图1）。这种合成设计能以低成本实现微小的重建误差，然后将姿态估计视作一项。
2023-05-01 15:47:05
1811
1
原创 Dive Deeper Into Integral Pose Regression 阅读笔记
IPR 将隐式热图结合端到端训练，用于姿态估计和手势估计。基于检测的热图法使用不可微的 argmax 解码关节位置，而。
2023-03-23 16:47:42
493
原创 Semi-supervised Human Pose Estimation in Art-historical Images 阅读笔记
姿势作为非言语交际的“语言”，从17世纪就开始得到理论确立，但它几乎没表达与视觉艺术的相关性，这可能是因为传统方法需要手工处理巨大数据量。随着数字化的稳步发展，越来越多的历史文物被 indexed 并公之于众，从而产生了。
2023-03-14 16:57:21
1011
原创 AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time 阅读笔记
为捕捉人体的细微动作以进行复杂的行为分析，
2023-02-20 17:54:02
1024
原创 RMPE: Regional Multi-Person Pose Estimation （AlphaPose）阅读笔记
野外多人姿态估计具有挑战性。sota人体检测器不可避免存在定位和识别误差，这些误差可能导致依赖人体检测器的单人姿态估计器（SPPE）的失败。本文提出了一种新的区域多人姿态估计（RMPE）框架，
2023-02-16 16:06:04
608
原创 Robust Pose Estimation in Crowded Scenes with Direct Pose-Level Inference 阅读笔记
拥挤场景下的多人姿态估计具有挑战性，因为重叠和遮挡使得难以检测人体边界框并从单个关键点推断。
2022-12-21 11:06:00
949
原创 Resolution-robust Large Mask Inpainting with Fourier Convolutions 阅读笔记
现代图像修复技术主要受阻于大缺失区域、复杂几何结构和高分辨率图像，主要受阻原因是。
2022-12-12 17:55:24
1266
原创 Removing the Bias of Integral Pose Regression 阅读笔记
ICCV2021论文链接补充材料链接参考链接摘要： 尽管姿态估计的回归法更直观，但由于热图法的优越性能，使其在2D人体姿态估计中占主导地位。积分回归法在架构上使用隐式热图，拉近了热图法与回归法。这就引出了一个问题——检测真的优于回归吗？本文研究了这两个方法最关键的区别：监督差异。在此过程中，我们发现在softmax后取期望，使积分姿态回归存在潜在偏差。为了抵消偏差，我们提出了一种能够提高积分姿态回归精度的补偿方法，并进一步提出了一种组合检测和偏差补偿的回归方法，该方法在几乎没有添加组件的情况下显著优于
2022-12-06 20:30:21
787
原创 Pose for Everything: Towards Category-Agnostic Pose Estimation 阅读笔记
目前的2D姿态估计与类别耦合，例如人、动物、车辆。但很多场景需要检测未知类的姿态/关键点。本文引入一项类无关姿态估计任务（
2022-12-01 11:55:48
526
原创 Heatmap Distribution Matching for Human Pose Estimation 阅读笔记
大多工作将2D姿态估计视作热图估计任务，并使用 Gaussian-smoothed 热图作优化目标，使用 pixel-wise loss（例如MSE）来优化预测热图。
2022-11-28 16:58:00
1177
原创 CenterNet: Objects as Points 姿态估计阅读笔记
2019本文主要记录 CenterNet 及其在HPE领域中的应用。摘要：目标检测将物体视作一个 axis-aligned box，大多目标检测器枚举潜在物体的位置并对位置进行分类，这种做法冗余，无效，且需要额外的后处理。本文将一个对象建模为一个点，即其边界框的中心点，使用关键点估计找到中心点，并回归其他对象属性：如尺寸、3D位置、方向，甚至姿态。CenterNet是端到端可微，简单、敏捷、准确。
2022-11-24 11:01:54
844
原创 Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information 阅读笔记
CVPR2019论文链接代码貌似尚未公开摘要：融合多尺度特征图给姿态估计带来了重大进展，但很少有方法关注增强特征图的通道和空间信息。本文提出两个模块来增强多人姿态估计信息：① Channel Shuffle Module（CSM）对不同层次的特征图进行 channel shuffle，促进金字塔特征图间 cross-channel 信息通信。② Spatial, Channel-wise Attention Residual Bottleneck (SCARB) 利用注意力机制增强原始残差单元，自适应地
2022-11-21 16:07:53
284
原创 Simple Baselines for Human Pose Estimation 阅读笔记
近年来，姿态估计在取得重大进展的同时，总体算法和系统复杂性也日益增加，加剧了算法分析和比较的难度，本项工作提供了一个简单有效的baseline，来帮助激发并评估该领域的新想法。
2022-11-06 15:26:09
809
原创 AdaptivePose++: A Powerful Single-Stage Network for Multi-Person Pose Regression 阅读笔记
多人姿态估计常遵循 top-down 或 bottom-up范式，两者都需要额外阶段（例如，top-down 中的人体检测或bottom-up 中的分组）来构建人体实例与相应关键点间的关系，因而产生高计算成本和冗余的 two-stage pipeline。
2022-11-01 10:34:56
850
4
原创 CDGNet: Class Distribution Guided Network for Human Parsing 阅读笔记
人体解析的目的是将图像中的人体划分为多个组成部分，该任务给人体图像的每个像素标记类别。
2022-10-28 14:41:10
861
原创 BlumNet: Graph Component Detection for Object Skeleton Extraction阅读笔记
本文提出一个简单有效的框架：BlumNet，用于提取自然图像和 binary shapes 中的对象骨架。BlumNet有三方面优势：（1）图分解和重构策略进一步将骨架提取任务简化为图组件检测问题，从而显著提高骨架提取的准确性和鲁棒性。（2） 直观表示每个具有多结构和重叠线段的骨架分支，可以有效防止骨架分支消失问题。（3） 不同于传统的骨架热图，本方法直接输出更适用的骨架图。实验验证了BlumNet的优势：与sota AdaLSN相比，其精度明显更高（0.826 vs 0.786），显著提高了 mixed
2022-10-18 20:41:22
466
原创 When Human Pose Estimation Meets Robustness: Adversarial Algorithms and Benchmarks阅读笔记
人体姿态估计旨在定位人体关键点位置，是一项基础且富有挑战性的计算机视觉任务。不同于人类视觉对各类数据损坏（如模糊，像素化等）的鲁棒性，当前的姿态估计器易受这些数据损坏的影响。本文通过建立严格的鲁棒性基准（COCO-C、MPII-C和OCHuman-C）来全面研究并解决该问题。本研究评估当前 sota 姿态估计器的不足，并提出了一种新算法**AdvMix**来提高姿态估计在不同损坏情况下的鲁棒性。本工作有几个独特优点：（1） AdvMix是 **model-agnostic** ，能在广泛的姿态估计模型中使用
2022-10-12 12:02:22
358
原创 YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss 笔记
摘要：本文引入了一种新的 heatmap-free 联合检测法：YOLO-Pose，基于YOLO目标检测框架进行2D多人姿态估计。现有的基于热图的两阶段方法是次优的，因为它们不是端到端可训练的，且训练依赖于一个surrogate L1 loss，该损失不能直接优化评估指标：对象关键点相似(OKS)。YOLO-Pose能够端到端训练，并优化OKS指标本身。
2022-10-09 21:58:51
2390
原创 Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for MHPE 阅读笔记
论文链接代码链接ECCV 2022（我也不太确定）摘要： 关键点估计任务（如人体姿态估计）主要采用热图法，但其存在明显缺点：热图本身存在量化误差，需要过多的计算来生成和后处理。为找到一种更有效的解决方案，我们提出在一个 dense single-stage anchor-based 检测框架内，将单个关键点和空间相关关键点集（即姿态）建模为对象。因此，我们将我们的方法称为KAPAO（发音为“Ka Pow”），Keypoints And Poses As Objects。通过同时检测人体姿态和关键点对象，并
2022-10-04 18:55:35
905
1
原创 Poseur: Direct Human Pose Regression with Transformers 论文阅读笔记
本文提出一种直接的、基于回归的方法从单个图像中估计2D人体姿态。本文将姿态估计问题表述为一个。
2022-09-30 09:51:20
736
2
原创 Residual Attention: A Simple but Effective Method for Multi-Label Recognition论文阅读笔记
该研究提出了一种简单有效的多标签图像分类框架CSRA。仅通过四行代码，就能够提高多标签分类任务的准确率。CSRA的mutil-headattention版本不仅能提高识别精度，而且能消除对超参数的依赖。CSRA在4个基准数据集上的表现优于现有的SOTA方法，不仅简单，而且可解释性更强。在未来，可以将CSRA推广到通用图像表示学习中，并进一步验证残差注意力。在其他cv任务，例如目标检测中是否有用。httpshttpshttpshttpshttpshttpshttps。...
2022-07-20 11:47:35
1536
原创 Human Pose Regression with Residual Log-likelihood Estimation阅读笔记
热图法通过似然热图模拟输出分布，在人体姿态估计领域独领风骚。相比之下，
2022-07-16 20:53:01
1111
原创 Mask R-CNN 阅读笔记
2017论文链接代码链接摘要： 本文提出了一个概念简单、灵活、通用的对象实例分割框架 Mask R-CNN。我们的方法能有效检测图像中的对象，同时为每个实例生成高质量的分割掩码。Mask R-CNN 通过添加一个预测对象 mask的分支与现有的 bounding box 识别分支相并行，扩展了 Faster R-CNN。Mask R-CNN训练简单，只为Faster R-CNN增加了一小部分开销，运行速度为5fps。此外，Mask R-CNN易于推广到其他任务，例如，可以用相同的框架估计人体姿态。 我们在
2022-07-12 15:28:28
783
原创 Lite Pose: Efficient Architecture Design for 2D Human Pose Estimation 阅读笔记
论文链接代码链接摘要：姿态估计在以人为中心的视觉应用中发挥关键作用。但由于高昂的计算成本（每帧超过150个GMACs（一个 GMACS：等于每秒10亿 (=10^9) 次的定点乘累加运算）），基于 HRNet 的 sota 姿态估计模型难以部署在资源受限的边缘设备上。本文研究了边缘实时多人姿态估计的有效架构设计。通过 gradual shrinking 实验，我们发现 HRNet 的高分辨率分支对处于低计算区域的模型是冗余的，删除它们可以提高效率和性能。受这一发现的启发，我们设计了有效的姿态估计单分支架构
2022-07-10 20:41:56
2149
1
原创 I^2R-Net: Intra- and Inter-Human Relation Network for Multi-Person Pose Estimation阅读笔记
cvpr2022论文链接代码链接摘要： 本文提出了一种用于多人姿态估计的人内和人间关系网络：I2R−NetI^2R-NetI2R−Net（Intra- and Inter-Human Relation Networks）。该网络包括两个基本模块：① 在单人上操作的人内关系模块：Intra-Human Relation Module ，用于捕捉人体内部的依赖关系；② 人间关系模块： Inter-Human Relation Module ，考虑了多个实例间的关系，侧重于捕捉人体间的交互。通过降低特征图的分
2022-07-03 17:09:57
387
原创 BAPose: Bottom-Up Pose Estimation with Disentangled Waterfall Representations阅读笔记
cvpr 2021论文链接摘要： 本文提出了一种新的 bottom-up 姿态估计方法：BAPose，在多人姿态估计领域实现了 sota。端到端可训练框架 BAPose 利用一个分离的（解构的、解耦的）多尺度瀑布体系结构，并结合自适应卷积在有遮挡的拥挤场景下更精确地推断关键点。BAPose中由分离瀑布模块获得的多尺度表示利用了级联体系结构中渐进过滤的有效性，同时也保持了与空间金字塔相当的多尺度感受野。在挑战性的COCO和CrowdPose数据集上的结果表明：BAPose是一种高效、稳健的多人姿态估计框架，
2022-07-01 08:32:59
545
3
原创 Numerical Coordinate Regression with Convolutional Neural Networks 阅读笔记
论文链接代码链接ECCV2018摘要： 我们研究了从输入图像中推断兴趣点的数字坐标的深度学习方法。现有的基于卷积神经网络的解决方案要么采用热图匹配方法，要么使用全连接输出层回归坐标。 这两种方法都不理想，前者不完全可微，后者缺乏内在的空间泛化性。 本文提出可微空间数值变换（differentiable spatial to numerical transform：DSNT）来填补这一空白。DSNT层不添加可训练参数，完全可微，具有良好的空间泛化能力。 与热图匹配不同，DSNT在热图分辨率较低的情况下也表
2022-06-20 11:49:44
598
原创 Peeking into occluded joints: A novel framework for crowd pose estimation 论文阅读笔记
论文链接代码链接摘要： 自然界中普遍存在遮挡，且遮挡仍是姿态估计的一个挑战。现有的基于热图的方法会受遮挡的严重影响，因为热图法基于视觉信息直接定位关节，而不可见的关节缺乏视觉信息。与定位不同，我们提出一个图像引导的渐进式GCN（Image-Guided Progressive GCN ）模块，从推理的角度估计不可见关节，该模块提供对图像上下文和姿态结构的全面理解。此外，现有的基准对遮挡的评估也十分有限。因此，我们深入研究此问题，并提出了一个新的 OPEC-Net 框架和一个新的包含遮挡姿态标注的 9k 张
2022-06-17 10:08:31
762
原创 HigherHRNet: Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation 阅读笔记
2020 cvpr论文链接代码链接摘要： 由于尺度的变化，bottom-up 人体姿态估计法很难预测小人体的正确姿态。本文提出了一种新的 bottom-up 人体姿态估计方法：HigherHRNet ，用于使用高分辨率特征金字塔学习尺度感知表示。HigherHRNet 具有多分辨率监督训练和多分辨率聚合推理功能，能够解决 bottom-up 多人姿态估计中的尺度变化问题，并能更精确定位关键点，尤其是针对小人体的关键点。HigherNet 中的特征金字塔由来自 HRNet 的特征图输出和通过转置卷积的上采
2022-06-03 16:04:37
731
原创 AggPose: Deep Aggregation Vision Transformer for Infant Pose Estimation 论文笔记
IJCAI 2022- AggPose：用于婴儿姿态估计的深度聚合vision transformer论文链接To appear in the 31th International Joint Conference on Artificial Intelligence (IJCAI 2022)摘要： 通过估计新生儿的运动和姿态，有相关经验的儿科医生可以对其进行神经发育障碍的预测，从而对相关疾病进行早期干预。然而，大多数最新人体姿态估计 AI 方法都集中在成年人身上，且缺乏用于婴儿姿态估计的公开基准。
2022-05-31 10:23:12
4656
2
原创 CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark论文阅读笔记
CrowdPose：有效的拥挤场景姿态估计和新基准论文链接：https://arxiv.org/abs/1812.00324摘要： 多人姿态估计是许多计算机视觉任务的基础，近年来取得了重大进展。先前的方法很少研究具有挑战性且不可避免的拥挤场景中的姿态估计，并且目前的基准无法对这种情况进行适当的评估。本文中提出了一种新颖有效的方法来解决拥挤场景中的姿势估计问题，并提出了一种新的数据集来更好地评估算法。本模型由两个关键部分组成：关节候选单人姿态估计（joint-candidate single person
2022-05-27 16:06:22
399
1
原创 Pose2Seg: Detection Free Human Instance Segmentation 论文阅读笔记
Pose2Seg：无检测人体实例分割摘要：标准的图像实例分割方法是先执行目标检测，然后从检测的 bounding-box 中分割实例。最近，深度学习方法，如Mask R-CNN将二者联合执行。然而，很少有研究考虑 “人” 类别的唯一性，人可以通过姿态骨架被定义。此外，人体姿态骨架比bounding box 更能区分具有严重遮挡的实例。 本文提出了一种全新的基于姿态的人体实例分割框架（代码地址：https://github.com/liruilong940607/Pose2Seg），它基于人体姿态而非pro
2022-05-24 22:07:45
907
原创 Deep Learning-Based Human Pose Estimation: A Survey 论文笔记
人体姿态估计的目的是定位人体部位，并从图像和视频等输入数据中建立人体表示（如人体骨架）。近十年，人体姿态估计越来越受关注，并被广泛应用于人机交互、运动分析、增强现实和虚拟现实等领域。尽管基于深度学习的解决方案在人体姿态估计方面取得了很高的性能，但由于 ==训练数据不足、深度模糊和遮挡== 使人体姿态估计仍存在挑战。本文通过系统性分析和比较姿态估计方案的输入数据和推理过程，全面回顾基于深度学习的 2D 和 3D 姿态估计解决方案。本次调查涵盖2014年以来的240多篇研究论文。此外，本文还包括 2D 和 3D
2022-05-23 16:35:04
642
1
原创 MySQL 示例数据库 employees 的导入与使用
导入 MySQL 示例数据库 employees本博客记录将 employees.db 数据库导入本地 MySQL 数据库中。文章目录导入 MySQL 示例数据库 employees1. 导入示例数据库：employees1.1 下载示例数据库：employees1.2 导入 employees2. 使用示例数据库：employees1. 导入示例数据库：employees1.1 下载示例数据库：employeesemployees 是官方提供的示例数据库，官方下载链接或者在该链接下下载：
2022-05-15 08:52:00
4168
原创 MySQL Workbench 安装及使用
MySQL Workbench 安装及使用文章目录MySQL Workbench 安装及使用1. MySQL Workbench 简介2. MySQL Workbench 的下载与安装3. MySQL Workbench 使用3.1 Workbench 创建数据库3.2 概念设计：绘制 E-R 图3.3 逻辑结构设计：E-R 图转换为关系模式3.3.1 建立关系模式3.3.2 关系模式规范化处理3.4 逻辑结构设计：Workbench 建表1. MySQL Workbench 简介MySQ
2022-05-11 20:22:11
74852
12
原创 Deep High-Resolution Representation Learning for Visual Recognition阅读笔记
用于视觉识别的深度高分辨率表征学习论文链接摘要： 高分辨率表示对于人体姿态估计、语义分割和目标检测这类位置敏感的视觉问题至关重要。现有的 sota 框架首先通过一个 high-to-low 分辨率卷积串联（例如ResNet、VGGNet）形成的子网将输入图像编码为低分辨率表示，然后从编码的低分辨率表示中恢复高分辨率表示。但是，HRNet在整个过程中保持高分辨率表示。HRNet 有两个关键特征：(i) 并行连接 high-to-low 分辨率卷积流；(ii) 在不同分辨率之间反复交换信息。这样能够使 H
2022-05-08 16:28:07
2036
原创 HRNet 论文阅读笔记
Deep High-Resolution Representation Learning for Human Pose Estimation 用于人体姿态估计的深度高分辨率表征学习论文地址摘要： 本文关注针对人体姿态估计问题，重点学习可靠的高分辨率表示。现有的大多方法从一个 high-to-low 分辨率网络生成的低分辨率表示中恢复高分辨率表示。但是，我们的网络模型在整个过程中都保持高分辨率表示。我们从一个高分辨率的子网络作为 first stage 开始，逐步添加 high-to-low 分辨率子网
2022-05-06 22:09:38
1397
原创 Lite-HRNet: A Lightweight High-Resolution Network 阅读笔记
Lite-HRNet: A Lightweight High-Resolution Network 论文阅读笔记摘要： 本文提出了一个应用于人体姿态估计的非常有效的轻量级高分辨率网络：Lite-HRNet。我们首先简单地将ShuffleNet中高效的 shuffle block 应用于HRNet，相比流行的轻量级网络（如MobileNet、ShuffleNet和小型HRNet）能产生更强的性能。shuffle blocks 中大量使用的 pointwise（1×1）卷积是计算瓶颈。我们引入了一个轻量级单
2022-05-02 15:52:19
1933
作业调度实验
2017-07-12
存储管理实验
2017-07-12
旅店POS机管理系统
2017-06-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人