Codefmeister-CSDN博客

原创 PointDSC: Robust Point Cloud Registration using Deep Spatial Consistency (PointDSC) 论文学习笔记小结

PointDSC工作基于利用空间一致性的Outlier Removal, 是对Spectral Match(SM)算法的改进与拓展。SM算法通过长度一致性构建对应关系间的相容图。随后使用特征分析来进行聚类，区分离群点和内点。其缺陷主要在于：长度一致性在很多场景下的辨别能力不够强（遂通过深度学习的特征进行取代）。离群点较多时可能出现反客为主的情况，inliers不能取得主宰的地位，特征分析会失效。PointDSC主要由三个模块构成，一个是空间一致性特征引导的非局部几何特征提取模块SCNonlocal Mo.

2021-04-19 21:55:48 2768

原创 Robust Point Cloud Registration Framework Based on Deep Graph Matching (RGM) 简略分析

RGM使用DGCNN先抽象提取出局部特征，点云x,yx,yx,y的特征分别对应于FX,FY\mathcal{F}_{\mathbf{X}}, \mathcal{F}_{\mathbf{Y}}FX,FY随后使用Transformer来交互两帧点云间的特征信息，分别生成TX,TY\mathcal{T}_{\mathbf{X}}, \mathcal{T}_{\mathbf{Y}}TX,TY，随后用交互后的特征TX,TY\mathcal{T}_{\mathbf{X}}, \mathcal{T}_{\math

2021-04-19 21:51:59 1344

原创 Iverson Bracket. 艾弗森括号

Iverson BracketIverson Bracket 又称艾弗森括号。常用方括号来表示。满足括号内的条件则值为1，不满足条件则值为0.ExampleR^,t^=arg⁡max⁡R′,t′∑i∣C∣⟦∥R′xi+t′−yi∥<τ⟧\hat{\mathbf{R}}, \hat{\mathbf{t}}=\arg \max _{\mathbf{R}^{\prime}, \mathbf{t}^{\prime}} \sum_{i}^{|C|} \llbracket\left\|\mathbf{

2021-04-15 11:35:53 1975

原创 Sinkhorn算法，正矩阵与双随机矩阵之间的关系

Sinkhorn算法Sinkhorn 算法描述了任意一个正矩阵(元素均为正)与双随机矩阵之间的关系。简略描述Relations between arbitrary positive matrices and Doubly stochastic matrices.如果A是一个正矩阵，那么通过交替的进行行归一化和列归一化，可以将其转换为一个转移矩阵(双随机矩阵)。if A is a positive Matrix, alternately applies row-normalization an

2021-04-13 09:12:20 2317

原创 Affinity Matrix（关联矩阵，相似度矩阵），Cosine Similarity, Jaccard similarity

Affinity Matrixreference: DeepAI, WikipediaWhat is an Affinity Matrix?Affinity Matrix，也叫做 Similarity Matrix。即关联矩阵，或称为相似度矩阵，是一项重要的统计学技术，是一种基本的统计技术，用于组织一组数据点之间的彼此相似性。相似度(similarity)类似于距离(distance)，但它不满足度量性质，两个相同的点的similarity scores为1，而在metric下将为0。相似度量

2021-04-10 16:17:07 12157 2

原创 Affinity Layer(仿射变换层), Full-connected Layer.

Affinity Layer 仿射变换层DefinitionAffinity layer，即Full-connected layer（仿射层或全连通层）是一层人工神经网络，其中所有包含的节点连接到后续层的所有节点。仿射层通常用于卷积神经网络和递归神经网络。受限玻尔兹曼机是仿射层或全连接层的一个例子。对于每一个到仿射(全连接)层的连接，节点的输入是前一层输出的线性组合，带有附加的偏置。然后通过激活函数传递输入来计算节点的输出。数学上，这表示为:y=f(Wx+b)y=f(W x+b)y=f(Wx+b

2021-04-10 10:04:57 3433

原创设置随机种子之后，网络训练结果仍然不同的解决方法（针对随机采样的数据集）torch设置随机种子，num_worker对数据采样的影响。

网络训练结果无法复现设置随机种子应该为torch, numpy,以及Python设置随机种子，并提高torch卷积精度。def set_seed(seed): random.seed(seed) np.random.seed(seed) os.environ['PYTHONHASHSEED'] = str(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manua

2021-03-18 11:10:28 7868 6

原创基于光强的角点检测（SUSAN角点检测、FAST角点检测、FAST-ER角点检测）

Corner Feature Detector(Intensity-Based)基于光强比较的角点检测，直接比较光强（像素灰度值），而不计算梯度。所以实时性更好，所需的存储空间更小。SUSAN 角点检测SUSAN 全称Smallest univalue segment assimilating nucleus，最小核同值区。提出者Smith与Brady, 1997.SUSAN 使用一个圆形模板和一个圆的中心点，通过圆的中心点象素值与模板圆内其他象素值的比较，统计出与圆中心点象素值近似的象素数量，当这

2021-03-04 08:52:34 661 1

原创 ID3决策树、信息熵、信息增益

本文所用的例子引自《机器学习》，周志华。ID3决策树ID3中的ID，是Iterative Dichotomiser的简称。 ID3是一种经典的基于信息增益的决策树学习算法。信息熵信息熵是度量样本集合纯度最常用的一种指标。假定当前样本集合DDD中第kkk类样本所占的比例为pk(k=1,2,…,∣Y∣)p_k(k=1,2, \ldots,|\mathcal{Y}|)pk(k=1,2,…,∣Y∣)，则DDD的信息熵被定义为：Ent⁡(D)=−∑k=1∣Y∣pklog⁡2pk\operatorna.

2021-03-03 21:32:07 2396 2

原创角点检测--基于梯度的方法（Moravec角点检测、Harris角点检测、Shi-Tomasi角点检测）

Moravec DetectorMoravec角点检测是第一个提出兴趣点(interest points)的Paper。它的主要思想是：以每个像素为中心，有一个固定的滑动窗口。该方法计算并在八个方向上（纵横以及斜对角）搜索每个像素的最小强度变化，如果最小值大于给定阈值，则检测出感兴趣点。其可以用数学公式表达为：E(u,v)=∑x,yw(x,y)[I(x+u,y+v)−I(x,y)]2E(u, v)=\sum_{x, y} w(x, y)[I(x+u, y+v)-I(x, y)]^{2}E(u,v)=∑

2021-03-03 09:54:38 1075

原创随机矩阵Left stochastic matrix, Right stochastic matrix, Doubly stochastic matrix,置换矩阵Permutation Matrix

Stochastic MatrixDefinition:In mathematics, a stochastic matrix is a square matrix used to describe the transitions of a Markov chain. Each of its entries is a nonnegative real number representing a probability. It is also called a probability matrix, t

2021-02-06 10:50:29 736

原创 Learning Multiview 3D point Cloud Registration论文阅读笔记

Learning multiview 3D point cloud registrationAbstract提出了一种全新的，端到端的，可学习的多视角三维点云配准算法。多视角配准往往需要两个阶段：第一个阶段进行初始化配准，给定点云各帧之间两两的初始化刚体变换关系；第二个阶段在全局意义上进行不断精细化处理。前者往往由于点云之间的低重叠率，对称性，或者重复的场景片段而导致配准精度较差。因此，紧随其后的全局优化（Global Refinement）的目标就是在多个点云帧中建立一种循环一致性(cyclic c

2021-01-16 11:33:20 1377 1

原创 FCGF论文阅读笔记

FCGF论文阅读笔记0. Abstract从三维点云或者扫描帧中提取出几何特征是许多任务例如配准，场景重建等的第一步。现有的领先的方法都是将low-level的特征作为输入，或者在有限的感受野上提取得到基于patch的特征。本文提出的是一个全卷积几何特征提取网络，名为fully-convolutional geometric features。通过一个3D的全卷积网络的一次pass，即可得到几何特征。同时提出了一个新的度量学习的loss函数，可以显著的提高网络的性能。 FCGF的几何特征十分紧凑，可

2021-01-14 22:19:07 2418

原创 PointConv论文阅读笔记

PointConv论文阅读笔记Abstract本文发表于CVPR。其主要内容正如标题，是提出了一个对点云进行卷积的Module，称为PointConv。由于点云的无序性和不规则性，因此应用卷积比较困难。其主要的思路是，将卷积核当做是一个由权值函数和密度函数组成的三维点的局部坐标的非线性函数。通过MLP学习权重函数，然后通过核密度估计得到密度函数。还有一个主要的贡献在于，使用了一种高效计算的方法，转换了公式的计算分时，使得PointConv的卷积操作变得memory efficient，从而加深网络

2021-01-14 22:14:24 487

原创 torch中Dataset的构造与解读

torch中Dataset的构造与解读Dataset的构造要自定义自己的数据集，首先需要继承Dataset(torch.utils.data.Dataset)类.继承Dataset类之后，必须重写三个方法:__init__(), __getitem__(), __len__()class ModelNet40(Dataset): def __init__(self, xxx): ... def __getitem__(self, item):

2021-01-05 15:49:10 7997

原创 np.cross函数详解

numpy.crossReference: Official Document of Numpy 语法numpy.cross(a, b, axisa=-1, axisb=-1, axisc=-1, axis=None)功能Return the cross product of two (arrays of) vectors.The cross product of a and b in :math:R^3 is a vector perpendicularto both a and b

2020-12-30 15:45:51 20607

原创 np.random中各随机采样函数一览

np.random.uniform()语法numpy.random.uniform(low=0.0, high=1.0, size = None)作用返回一个均匀分布的采样结果。左闭右开区间[low, high).返回数组的shape与size相同。参数low: 下界，默认为0.0high: 上界，默认为1.0size: 返回数组的shape，默认为None，即返回一个单值举例>>> a = np.random.uniform(1,2,(3,4))>&

2020-12-30 15:23:22 861 1

原创 np.clip分析

np.clip分析语法np.clip(a, a_min, a_max, out=None, **kwarys)作用对数组a进行裁剪，小于a_min 的数用a_min代替，大于a_max的数用a_max代替。需要注意的是，函数本身并不会对a_min和a_max之间的大小进行检查。参数a: 待裁剪的数组a_min: 下界a_max: 上界示例>>> a = np.arange(10)>>> print(a)array([0, 1, 2, 3,

2020-12-30 15:21:33 221

原创 Python库glob作用分析

Python 中 glob作用简介glob库中有两个函数:glob.glob()， glob.iglob(). 其作用是：遍历给定文件夹下所有符合条件的文件。常用的匹配符有：* 代表所有? 代表满足单个字符[]代表满足list中指定的字符glob.glob(path, *, recursive=False)在这里只介绍最基础的用法，用到的时候再深究。partition = "train"path_list = glob.glob(os.path.join(DATA_DIR, 'mod

2020-12-27 10:35:07 835 1

原创 torch.nn.parameter.Parameter分析

torch.nn.parameter.Parameter作用a kind of Tensor that is to be considered a module parameter.Parameter是一种可以作为模型参数的Tensor.Parameters are Tensor subclasses, that have a very special property when used with Module S ----when they’re assigned as Module at

2020-12-26 15:30:35 1608 1

原创 torch.stack作用分析

torch.stack作用分析语法torch.stack(tensors, dim=0, *, out=None) --> Tensor作用Concatenates a sequence of tensors along a new dimension.All tensor need to be of the same size将一个序列的tensor在新的一维上concatenate起来，所有tensor的shape需要相同。Parameterstensors(seque

2020-12-26 15:29:36 159

原创 DCP（Deep Closest Point）论文阅读笔记以及详析

DCP论文阅读笔记前言本文中图片仓库位于github，所以如果阅读的时候发现图片加载困难。建议挂个梯子。作者博客:https://codefmeister.github.io/论文Deep Closest Point: Learning Representations for Point Cloud RegistrationAuthor: Wang, Yue; Solomon, JustinMain Attribution基于ICP迭代最近点算法，提出基于深度学习的DCP算法。解决了IC

2020-12-26 15:24:26 6455 15

原创 The Illustrated Transformer （Transformer可视化解读自译笔记）

图解TransformerReference: The Illustrated Transformer本文自译用于加深理解与印象。关于注意力机制，可以参考先前的Seq2Seq Model with AttentionTransformer是论文Attention is All You Need提出的。在这篇文章中，我们将尝试把事情弄得简单一点，逐个介绍概念，以便更好理解。A High-Level Look我们首先把模型看作是一个黑箱。在机器翻译领域的应用中，输入一种语言的一个句子，会输出另外

2020-12-19 15:59:43 1038 1

原创 Seq2Seq Model With Attention（带有注意力机制的序列到序列模型可视化解读）

Mechanics of Seq2Seq Models With AttentionReference: Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)前言Sequence-to-sequence模型在深度学习领域取得了很多成就。这文章真的牛逼。有视频不翻译了。...

2020-12-19 15:42:26 480 1

原创 NLP：语言模型与n元语法

语言模型前言DCP用到了Transformer，其很多实现的Motivation都来自于Sq2Sq的启发。所以重新回顾学习语言模型。Reference: 《Dive into Deep Learning》语言模型语言模型是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看做一段离散的时间序列。假设一段长度为T的文本中的词依次为w1,w2,...,wTw_1,w_2,...,w_Tw1,w2,...,wT，那么在离散的时间序列中，wt(1≤t≤T

2020-12-16 15:37:21 753 1

原创 Dynamic Graph CNN for Learning on Point Clouds(DGCNN)论文阅读笔记——核心思想：EdgeConv细析

DGCNN前言与声明因为关心的领域主要是配准，对于分类等网络的架构设计分析并没有侧重太多，主要侧重的是EdgeConv的思想。文中图片全部来自于PointNet，PointNet++，DGCNN论文中的配图。若有侵权请联系笔者删除。转载请标明出处，谢绝商业转载。论文Dynamic Graph CNN for Learning on Point CloudsWang, Yue and Sun, Yongbin...核心思想:关于EdgeConv将点云表征为一个图，G(V,ξ){\rm{G}

2020-12-15 20:52:26 1450 2

原创一维卷积与二维卷积：Conv1d与Conv2d详解

Conv1d与Conv2d本文分为几个部分来详解Conv2d与Conv1d。主要侧重于Conv2d前言本文记于2020年12月15日，起因是DGCNN中部分卷积使用了二维卷积，部分卷积使用了一维卷积。加之之前对Conv2d与Conv1d属于一种迷迷糊糊的状态，趁着这个机会弄清楚。Conv2d原理（二维卷积层）二维互相关运算互相关运算与卷积运算虽然卷积层得名于卷积(convolution)运算，但所有框架在实现卷积层的底层，都采用的是互相关运算。实际上，卷积运算与互相关运算类似，为了得到卷积运算

2020-12-15 20:15:15 27432 2

原创 AdaptiveMaxPool的作用

AdaptiveMaxPoolAdaptiveMaxPool是PyTorch中提供的自适应池化层。其主要特殊的地方在于：无论输入Input的size是多少，输出的size总为指定的size。AdaptiveMaxPool1d()m = nn.AdaptiveMaxPool1d(3)input = torch.randn(4,3,7)output = m(input) # output的size为(4,3,3)AdaptiveMaxPool2d()m = nn.AdaptiveMaxP

2020-12-14 16:04:01 5134

原创 LeakyReLU函数解析

LeakyReLU语法CLASS torch.nn.LeakyReLU(negative_slope: float = 0.01, inplace: bool = False)作用Element-wise对于每个x，应用函数如图：函数图像

2020-12-14 15:23:56 12603 6

原创为什么需要Tensor.contiguous()? PyTorch中Tensor.contiguous()作用分析

为什么需要Tensor.contiguous()Tensor.contiguous()作用Returns a contiguous in memory tensor containing the same data as self tensor. If self tensor is already in the specified memory format, this function returns the self tensor.作用在官方文档里，描述的看似清晰但又模棱两可。例如x是一个Te

2020-12-14 11:01:45 4249 1

原创 PyTorch搜索Tensor指定维度的前K大个（K小个）元素--------(torch.topk)命令参数详解及举例

torch.topk语法torch.topk(input, k, dim=None, largest=True, sorted=True, *, out = None)作用返回输入tensorinput中，在给定的维度dim上k个最大的元素。如果dim没有给定，那么选择输入input的最后一维。如果largest = False，那么返回k个最小的元素。返回一个namedtuple类型的元组(values, indices)，其中indices是指元素在原数组中的索引。sorted =

2020-12-13 21:36:52 5847

原创 MATrICP论文解读

MATrICP论文Improved techniques for multi-view registration with motion averagingLi, Zhongyu Zhu, Jihua Lan, Ke Li, Chen Fang, Chaowei核心思想将Trimmed ICP与运动平均算法结合起来，应用到多视角聚类上。算法步骤1. 估算各帧之间的重叠百分比ξi,j\xi_{i,j}ξi,j总的来说，估算各帧之间的重叠百分比主要分为两步：(1) 对于每一帧，计算其dt

2020-12-03 10:35:47 296 2

原创 numpy.tile作用，语法，参数分析以及举例

numpy.tile语法numpy.tile(A,reps)作用Construct an array by repeating A the number of times given by reps.If reps has length d, the result will have dimension ofmax(d, A.ndim).If A.ndim < d, A is promoted to be d-dimensional by prepending newaxes. So

2020-11-29 10:43:44 832

原创 numpy.repeat作用，语法，参数解读以及实例

numpy.repeat()作用可以用于重复数组中的元素语法numpy.repeat(a, repeats, axis=None)参数解读Parametersa : array_likeInput array.repeats : int or array of intsThe number of repetitions for each element. repeats is broadcastedto fit the shape of the given axis.axis

2020-11-29 10:05:22 7060 1

原创混合模型简介与高斯混合模型

高斯混合模型混合模型概述In statistics, a mixture model is a probabilistic model for representing the presence of subpopulations within an overall population, without requiring that an observed data set should identify the sub-population to which an individual obser

2020-11-26 20:29:45 2602

原创贝叶斯推理（Bayesian inference）

Reference: Wikipedia:Bayesian_inferenceBayesian inference is a method of statistical inference in which Bayes’ theorem is used to update the probability for a hypothesis as more evidence or information becomes available. Bayesian inference is an impor.

2020-11-25 23:30:00 13143

空空如也

空空如也