- 博客(91)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 【持续更新】一些Trick
Brief 这一篇用于记录一些学习中收获的trick,持续更新。Linux 指令查看GPU状态 ：watch -n1 gpustat查看CPU进程 ： topssh远程连接服务器： ssh -p22 username@ip远程连接中断但是继续运行程序：nohup +指令杀死在运行的GPU程序：kill -9 PID 这里的PID值采用nvidia-smi查看Ideakagg...
2019-09-24 08:16:48
1062
原创 项目实验记录
1 Kapture1.1 实验环境及路径1.1.1 位置/版本kapture: /home/jty/vs/kapturelocation: /home/jty/vs/kapture-localization1.1.2 环境conda activate vslam1.2 如何运行1.2.1 tutorial位置/home/jty/vs/kapture-localization/samples/virtual_gallery_tutorial运行指令局部特征提取参
2021-06-17 19:28:47
794
2
原创 ECCV20| 3D目标检测时序融合网络
文章：An LSTM Approach to Temporal 3D Object Detection in LiDAR Point Clouds文章链接： https://arxiv.org/pdf/2007.12392.pdf0 前言这是一篇来自Google-Research的研究工作，基于点云的3D目标检测目前有三个前沿的研究点，分别是：多模态、时序融合、自监督和弱监督。其中就笔者看到过和汇总过的文章而言（https://github.com/LittleYuanzi/awesome-Autom
2020-09-14 15:37:37
1462
2
原创 CLOCs：3D目标检测多模态融合之late-fusion
0 前言目前很多3D目标检测的工作都朝着多模态融合的方向发展，即是不仅仅使用单张图像或者仅仅使用点云做3D目标检测任务，而是在融合这两种传感器信息上作出一定的探索，今天笔者想要分享的一篇研究工作即是在这方面比较新的文章。CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection论文地址：https://arxiv.org/pdf/2009.00784.pdf笔者给出该文章目前在KITTI object 3d的实验效果如下.
2020-09-14 15:37:18
6795
8
原创 3D目标检测多模态融合综述
0前言本篇文章主要想对目前处于探索阶段的3D目标检测中多模态融合的方法做一个简单的综述，主要内容为对目前几篇几篇研究工作的总结和对这个研究方面的一些思考。在前面的一些文章中，笔者已经介绍到了多模态融合的含义是将多种传感器数据融合。在3D目标检测中，目前大都是将lidar和image信息做融合。在上一篇文章中，笔者介绍到了目前主要的几种融合方法，即early-fusion,deep-fusion和late-fusion，并介绍了一种基于Late-fusion的融合方法。但是在大多数研究工作中，都是以dee
2020-09-09 09:48:26
4320
原创 自动驾驶场景3D目标检测论文合集
注释该项目主要在对近期（17年）开始的自动驾驶场景的目标检测做一个汇总，持续更新，也欢迎大家参与进来。为了方便表示，该项目仅仅针对自动驾驶场景，分类方法按照输入进行划分，特别地，我们也对论文实验对应的论文做出一定的标注。...
2020-09-03 18:45:00
3266
1
原创 最新 3D目标检测文章汇总（包含ECCV20和ACMMM20）
前言3D目标检测在ECCV20的文章中呈现依旧火热的研究趋势，本文对目前笔者看到过的ECCV20的3D目标检测文章做一个汇总，分类方法按照该方法是否在对应数据集上实验作为分类方法。KITTI在ECCV20接收的文章中，仍然在KITTI上做实验的文章有两篇，如下列举，两篇文章都是采用多模态融合的研究工作，即点云信息和Image信息在特征层融合的方法。3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View Spatial F
2020-08-10 13:51:56
425
原创 3D点云目标检测 two-stage方法trefine方法综述
前言和二维图像目标检测一样，3D点云目标检测除了按照输入模态划分为基于点云、基于单目、基于双目或者是多模态融合的方法。也可以按照对proposal的提出和优化分为one-stage、two-stage甚至three-stage的方法。...
2020-07-28 11:14:10
1790
原创 pycharm 通过跳板机连接内网服务器
1. 找到自己的映射端口自己已经建立好跳板机如下的映射，自己的电脑端口224映射内网服务器端口22.2. 打开pycahrm1. 打开设置选项 file–settings2. 选中如下project interpreter界面，并点击下图所示的步骤3.填写远程服务器在自己电脑上的映射即是选中SSH Interpreter，然后Host务必填自己主机名字‘localhost’，端口号填自己电脑上的映射，前面说了我自己电脑上对应的是224端口，Username填写在内网服务器上自己的用户名，然
2020-07-26 11:33:30
2382
3
原创 ECCV20 3D-CVF
前言这一篇文章主要介绍一篇发表在ECCV20上的采用多模态融合的3D目标检测的文章，并总结一下目前多多模态的方法。所谓多模态融合，即采取多种传感器数据作为深度学习网络的输入，多模态融合的好处多种传感器获取到的信息存在互补的地方，但是缺点是融合的方法比较难，需要做多方面的考虑，比如在传感器获取的信息的时序上，图像传感器像素点和点云信息的对应，以及图像存在远近导致的scale问题，在点云上并不存在同一物体在scale上的差别。今天介绍的文章是：3D-CVF: Generating Joint Camera
2020-07-23 09:01:03
677
原创 【作业】Texture Mapping for 3D Reconstruction with RGB-D Sensor
文章内容概述Abstract在三维重建中，获取真实的细节纹理信息是非常重要的，但是由于RGB-D传感器噪声导致的几何误差，使得rgb的信息UN不能很好的和重建模型匹配。在本文中，作者提出一种全局到局部的校正策略来获得更加准确的纹理映射结果。该算法首先自适应地为三维模型的每个人脸选择一幅最优图像，可以有效地去除多幅图像混合产生的模糊和鬼影。然后作者采用一个非刚性的全局到局部校正步骤来减少纹理之间的缝合效果，该方法可以有效地补偿由相机姿态漂移和几何误差引起的纹理和几何对准误差，作者在一系列复杂场景中评估了该
2020-07-08 16:20:46
864
原创 Deecamp20 项目提交【如何用pcdet（second）跑自己的数据】
内容简介笔者参加了deecamp20，准备的内容是3-1，自动驾驶场景下的目标检测，由momenta公司提供128线的雷达数据。如下所示，笔者做了一下可视化，可以看出momenta公司的128线的数据具有以下的几个特点：点云场景稠密场景中的object比较多，相对KITTI而言多很多，场均有50+，而kitti一帧能有10个已经是很多的了为了方便整个工程内容的完整性，笔者做一些重要的记录：20/6/17基于pcdet，打通数据接口在kitti_dataset.py文件中创建create
2020-06-24 18:42:54
846
6
原创 用pcdet跑deecamp20_liadr3-1
安装 pcdet下载整个项目git clone https://github.com/sshaoshuai/PCDet.git创建一个新的虚拟环境conda create -n deecamp python=3.7 -yconda activate deecamp安装依赖cd PCDet/pip install -r requirements.txt 安装稀疏卷积库spconv git clone https://github.com/traveller59/spc
2020-06-24 17:46:30
898
4
原创 CVPR2020 3D目标检测文章汇总
前言笔者前面已经基本都介绍了今年CVPR20上接收了几篇的最新的目标检测文章，有从检测网络结构上设计的，有基于观察到目前方法遗漏的细节信息的。也有在前人的网路结构上进一步作出改进解决掉前人遗留问题的。PVRCNN文章地址：https://arxiv.org/pdf/1912.13192.pdf代码地址：https://github.com/sshaoshuai/PCDet、8】、丰田...
2020-06-22 08:37:46
6804
原创 3D目标检测深度学习方法中voxel-represetnation内容综述（三）
前言前两篇文章：3D目标检测深度学习方法中voxel-represetnation内容综述（一）、3D目标检测深度学习方法中voxel-represetnation内容综述（二）分别介绍了当前voxel-representation方法的backbone和主流的研究进展。即目前主要可以分为如下的几个方向做出研究内容的改进：（1）refine（2）loss（3）fusion（4）backboe -structure（5）others。前面的文章中已经介绍到了基于refine和loss研究工作，这一篇主要
2020-06-21 11:01:54
882
1
原创 【文章阅读】SVGA-Net
Brief前段时间还在等PV-RCNN的开源呢，现在在NIPS20上来了一个比PV-RCNN精度还高不少的SVGA-Net:。看文章风格应该是NIPS20了。来自电子科技大学，目前还没有开源。文章链接 https://arxiv.org/pdf/2006.04356.pdfAbstractvoxel-based的方法对Local-pointnets的局部之间不能建立联系，。所以本文从这个点出发建立了Voxel-Graph Attention Network。该网络首先在球型体素内构造局部grap
2020-06-17 21:46:44
964
原创 机器学习知识整理（持续更新）
前言这是作业1. MAP MLE Beyas估计1.1 个人常见不解问题汇总1. 先验分布 后验分布 似然函数等先验分布p(θ)p(\theta)p(θ) 即根据以前的经验知识知道的，模型决定参数的可能性的概率取值。即是模型可能具有的分布后验分布p(θ∣X)p(\theta|X)p(θ∣X):已知数据X估计模型参数的概率分布似然函数p(X∣θ)p(X|\theta)p(X∣θ)：根据参数分布（参数未知量）来确定数据X表达（可能已知）。似然函数和概率函数都采用p(X∣θ)p(X|\th
2020-06-01 19:22:35
358
原创 3D目标检测深度学习方法中voxel-represetnation内容综述（二）
前言前面的一篇文章：3D目标检测深度学习方法中voxel-represetnation内容综述（一）中笔者分享了如果采用voxel作为深度学习网络输入的backbone的几个重要的模块。也就是目前比较流行的One-stage的方法SECOND的1.5版本，在KITTI和Nuscenes的榜单上都能算是19年比较经典和高效的方法，这一篇文章，笔者填一下上一篇文章的坑，上一篇文章中说到目前的方法可以按照精度和速度两个方面做出研究，其中因为voxel-representation的方法本身是高效的，因此主要在速
2020-05-29 08:35:53
947
原创 3D目标检测深度学习方法中voxel-represetnation内容综述（一）
前言笔者上一篇文章有介绍了3D目标检测中比较重要的数据预处理的两个方面的内容，其一是几种representation的介绍，分别是point、voxel 和grap三种主要的representation，具体的可以表示为如下（这里的grids即是voxel）。上一篇文章也分析了这三种representation的优缺点：（1）point-sets保留最原始的几何特征，但是MLP感知能力不及CNN，同时encoder部分下采样采用了FPS（最远点采样）（目前就采样方法的研究也挺多，均匀采样，随机采样或者特征
2020-05-29 08:34:45
2337
1
原创 深度学习方法中 3D目标检测 数据预处理综述
前言这一篇的内容主要要讲一点在深度学习的3D目标检测网络中，我们都采用了哪些数据预处理的方法，主要讲两个方面的知识，第一个是representation，第二个数据预处理内容是数据增广。作为本篇博文的引言，我们先给一种博主制作的比较重要的3D检测方法图鉴，如下，就笔者的个人理解，今年的CVPR出现了很多的one-stage的方法，同时出现了很多融合的方法，这里的融合有信息融合，有representation融合，同时根据近两年的发展来看,voxel-based的方法占据了主导地位，这是得益于卷积结构优越
2020-05-25 16:06:03
3149
原创 点云学习在自动驾驶中的研究概述
自动驾驶研究综述自动驾驶公司的发展有关自动驾驶的研究最早可以追述到2004年的DARPA Grand Challenge和2007年的DARPA Urban Challenge，目的是研究如何在各种情形下提高自动驾驶的能力；2009年，谷歌开创了waymo公司目的是促使之前成熟的技术进一步商业化；2013到2014年深度学习的出现使得该领域的感知算法飞速发展；15年Uber Advanced ...
2020-04-21 19:04:54
1261
原创 【文章阅读】3DVID
Brief这里是 paper这里是 code这是一篇来自北理工和百度合作的文章，目前已经开源，2020年3月份放置在arxiv上；从标题我们猜测该文采用的时空信息将多帧的点云信息融合做3D目标检测，目前的确是没有研究是通过视频流的方式做3D目标检测，不过这也要求数据集是一些连续的帧才能使得这样一个任务的完成，但是KITTI的确是没有满足这样的要求，因此作者在Nuscence上进行的实验，这里...
2020-04-21 19:04:16
1011
原创 【文章阅读】What You See is What You Get: Exploiting Visibility for 3D Object Detection
前言本文是一篇来自Carnegie Mellon大学和Argo AI的合作工作，目前已经被CVPR20接收（oral），该文的主要内容是基于点云的3D目标检测，与以往的研究内容不同的是，本文基于观察发现在BEV视图中无法区分差别的free的区域，如下图中(a)展示的两个红色框所示，在BEV看上去都是不包含点的free space。但是假如通过lidar的扫描的激光对该图重新绘制如图（b）,其中绿...
2020-04-21 19:03:56
1715
2
原创 【文章阅读】PointPainting
前言本文来自nuTonomy自动驾驶公司，目前已经被CVPR20接收。值得注意的是，本文并不是提出了新的结构，而是在利用额外的信息融合进之前表现SoTA的网络中，表现出了检测精度的提升。文章地址 https://arxiv.org/pdf/1911.10150.pdf本文主要内容概括本文研究了一种新的image和lidar的fusion方式，在18年SOTA的baseline上都显示出精度...
2020-04-21 19:03:33
7109
7
原创 【文章阅读】SA-SSD
Brief来自CVPR2020的研究工作，也是仅仅使用Lidar数据进行3D检测的文章，CVPR2020接收的几篇文章中，采用LiDar作为网络结构输入的已经已经多于采用图像和lidar的结合，从一方面讲，lidar数据由于包含了现实场景中的几何结构而比双目信息包含更加精确的信息。同时受到的外界条件的影响也相应的越小。这是一篇来自 港理工和阿里达摩院的合作文章。这里是 paper这里是 c...
2020-04-21 19:03:00
4550
原创 【文章阅读+代码复现】Point-GNN
Brief在3D点云语义分割方法中,GNN已经做了很多可用的方案，但是在目标检测上依旧是采用比较传统的CNN和稀疏卷积的组合，这一篇文章是研究了图卷积在3D检测的中的用法。来自卡内基梅隆大学。已经被CVPR2020接收.这里是 paper这里是 codeAbstruct一个采用GNN设计的3D目标检测框架过程是先将点云场景编码成图结构，随后设计了一个叫point-GNN的网络结构，在...
2020-04-21 19:02:34
10612
4
原创 统计学习方法HMM作业
10.1根据后向算法：计算初值β4(i)=1,i=1,2,3\beta_{4}(i)=1, i=1,2,3β4(i)=1,i=1,2,3递推计算：对于t=3,2,1βi(i)=∑i=1aijbj(oi+1)βi+1(j),i=1,2,3β3(1)=∑i=13a1jbj(o4)β4(j)=(0.5∗0.5+0.2∗0.6+0.3∗0.3)∗1=0.46β3(2)=∑j=13a2jbj(...
2020-04-21 12:40:28
182
【文章阅读】3DSSD
Briefcvpr2020的研究工作，目前还没有开源，如下图所示，和最近才阅读的文章Point-GNN一同被CVPR2020录取，目前被接收的文章有在KITTI上的有四篇，分别是PV-RCNN,SA-SSD,Point-GNN和这一篇文章，应该说pvrcnn是独树一帜的，在前面的博客中，我也有介绍到。这一篇来自港中文和港科，同样是贾佳亚组，他们组在3D检测方向基本上算是处于垄断的存在了，之前...
2020-04-11 17:00:35
4919
3
原创 【文章阅读】Quantifying Data Augmentation for LiDAR based 3D Object Detection
Brief以lidar数据为深度学习网络输入的3D目前检测自18年CVPR的voxelnet和F-pointnet发表以来，分别衍生了voxel-based的方法和point-based的方法。基于voxel的方法的发展，但是当时voxel-based的voxelnet由于3D CNN的使用导致很大的显存占用，18年sensors的ECOND引入了稀疏卷积使得内存占用大大减少，同时该文引入了一...
2020-04-08 12:50:11
729
原创 PLSA+EM
加入隐变量的联合概率，条件概率等为：p(di,zk,wj)=p(di)p(zk∣di)p(wj∣zk)p\left(d_{i}, z_{k}, w_{j}\right)=p\left(d_{i}\right) p\left(z_{k} | d_{i}\right) p\left(w_{j} | z_{k}\right)p(di,zk,wj)=p(di)p(zk∣di)p(wj∣...
2020-04-07 13:15:37
138
原创 【文章阅读】Object as Hotspots
Brief 目前二维上的anchorfree的方法已经发展了有几年了，但是在三维检测中目前还没有关注到一个比较好实验效果的anchor-free方法（我目前还没看到吧），这一篇是我在arxiv上2020年元旦左右考试后看到的一篇，提目就很有意思，Object as Hotspots: An Anchor-Free 3D Object Detection Approach via Firing ...
2020-04-07 10:30:41
861
原创 shell多进程处理多图像
Brief最近做一个目标检测项目的时候，一共有接近6000张高分辨率的图片，为了对图片的运算得到一个好的检测结果，采用先对图片进行图片增强的工作，但是增强的工作对一张图片处理的时间很长，一个晚上处理了130张，这么计算可能处理完整个文件夹需要16天，对于急于看到结果的我来说，是不能容忍的，因此采用shell文件进行程序并发，每一个程序处理30张，大概需要200个并行程序，希望服务器不会宕机0.0...
2020-03-11 11:32:42
293
原创 【水下目标检测】比赛记录
Brief水下目标检测正好在这段时间学习一些二维的检测方法，这一篇记录该比赛的过程。YOLOV3一开始还是打算直接使用一些比较经典又比较容易改的网络结构，下面根据此次题目的一些特性，逐步记录该过程。参考了这篇 博客数据集lable处理数据首先是去官网上下载数据集，有 下面两个数据集train.zip和测试数据集test−A−image.ziptest-A-image.ziptest−A...
2020-03-04 22:05:57
5457
32
原创 【文章阅读】Tex2Shape
Brief 19年ICCV的一篇从单张图像上回复出三维人体的一个工作看这个是因为老板给发的就当闲鱼时间过去了，学习的开端吧。目前该工作已经开源了。这里是 paper这是是 codeAbstruct作者提出了一个高效的可以从单张图像中重建出具有细节信息的人体模型，包括了人脸，头发穿着以及皱纹，并且是可以在一个可交互式的帧率下进行。重建的结果甚至可以包含在单张图像中被遮挡的部分作者...
2020-03-01 19:01:33
1193
1
原创 CVPR2020|3D目标检测点云检测新网络 PV-RCNN
Brief&emsp；很长一段时间没有记录一些学习的东西了，一部分原因是因为研一的考试真的多，还有一部分是没有看上一些值得去写博客的文章。今天这一篇是19年12月30日放到arxive上的，其实在CVPR2020截止后就一直在关注这一篇文章何时会放出来，毕竟在KITTI的3D检测上高居榜首，并且远远的超过了第二名。如下：是很有必要研读一下，这篇文章出自港科和商汤的工作。目前还没有开源...
2020-01-06 11:49:09
12152
原创 【文章阅读】 PI-RCNN
Brief一篇AAAI2020的工作，目前KITTI官网的效果是排在第31名。（19年11月16日）不得不说就19年而言，实验效果并不能说是非常的出重，但是从侧面说明该方法的新颖程度应该是有的。其次这是浙大和阿里合作的一篇文章，通讯是Xiaofei He也表明了牛组的能力。overview:Abstruct该方法是一个二维语义分割和三维Lidar检测fusion的方法，作者的主要...
2020-01-06 09:43:08
1433
1
原创 3D检测入门知识梳理
Brief 昨晚组会师兄把我分配到了做3D检测，所以接下来的一段时间先对3D检测的研究做一下梳理。先挖一个坑，后续慢慢填。1 基本处理方法1.1 激光 CVPR2018年的一篇文章Voxlnet，直接处理激光点云，将点云在空间上划分为均匀的voxel，再把不同的voxel点云提取Voxel Feature Encoding对物体进行分类和位置回归。具体的研读看这里1.2单目相机 YOL...
2019-10-29 10:20:06
7728
4
原创 【文章阅读】Submanifold Sparse Convolutional Networks
Brief 最近看到很多的卷积结构都采用了subm层，很好奇这是个什么结构，然后无意间看到了这一篇文章，应该就是目前比较通用的结构。例如目前在榜单前3名的par2par^2par2的如下结构，采用的就是这种单元结构搭建的。Abstruct目前的卷积网络都是用于对密集表达的处理，但是很多数据都是稀疏的；因此作者提出的稀疏卷积操作用于处理稀疏点，作者指出该就够的卷积仅仅是在子流行结构上操作，而...
2019-10-27 13:13:07
4411
1
原创 【文章阅读】IoU Loss for 2D/3D Object Detection
Brief最近在实验中发现，3D检测的精度和cls_loss的关系非常的大，一般来说，按照SECOND的代码训练下降到cls_loss大致为0.8左右时，会有一个不错的效果，在验证集上可以达到0.88左右的精度（对car-easy）而言，但是当loss继续向下降的时候，反而得不到刚好的效果，改了一些网络结构，加了一些特征，发现改结构的效果并不如从特征或者其他方面着手容易，因此研究别人如何通过LO...
2019-10-25 15:47:19
5620
12
TIAGo+-+Handbook+1.5.0+email.pdf
2019-08-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人