越来越胖的GuanRunwei-CSDN博客

原创 DETR的位置编码

记录一下，以防忘记。首先，致谢知乎vincentDETR中有这样一个类和一个包装函数假如batch_size=2，有两张图片分别为我们使用函数将它们打包在一块，这里调用了类，它的作用就是构成 {tensor, mask} 这么一个数据结构，在这里，tensor就是图片的值，那mask是啥？

2023-07-19 16:41:37 1172

原创记多任务基础模型的常见bug和debug历程

记多任务基础模型的常见bug和debug历程

2023-05-22 20:11:34 1230 1

（比如Inception系列中的block（尤其是V3之前的版本）重复度不高，并且block内部结构不相同，这相比于ResNe(X)t系列来说，除了显得不那么优雅之外，会增加很多碎片化地操作，而不是大量的相同操作，这样使得计算并行度降低。这样，随着网络加深，即使网络能够很好地避免梯度问题，但其推理速度会下降。（这一点，现在的SoAT网络结构确实已经可以看到这种思想的趋势，比如CSP-ResNe(X)t，CSP-DarkNet中取消bottleneck的操作, etc.）提取自Shufflenet v2。

2022-09-30 16:22:38 1315

原创 Pycharm错误解决：Process finished with exit code -1073741819 (0xC0000005)

debug: Pycharm错误解决：Process finished with exit code -1073741819 (0xC0000005)

2022-06-09 13:38:11 2987 4

原创 Python双层嵌套循环list生成式

老是忘记前后顺序，简单写个笔记import numpy as npa = np.arange(1, 13).reshape(3, 4)aarray([[ 1, 2, 3, 4], [ 5, 6, 7, 8], [ 9, 10, 11, 12]])for i in a: for j in i: print(j, end=" ")1 2 3 4 5 6 7 8 9 10 11 12[j for i in

2022-05-11 20:31:59 1647

原创为什么Transformer / ViT 中的Position Encoding能和Feature Embedding直接相加？

前言刚开始学习Transformer / ViT的时候会发现为什么作者会将Position Encoding直接和Feature Embedding相加？当时的第一反应是，为什么不是concat，因为两者分明是两种异构的信息，为什么能放在一起相加呢？不应该concat才合理么？最近对一些工作做收尾的时候发现了这个后来被我遗漏的问题。（如果不知道Position Encoding是啥的建议先去阅读一下原论文）问题从向量空间的角度来看，我原本有一个Feature Embedding向量矩阵，我再加上

2022-05-05 08:30:35 2779 3

原创 PyTorch处理RNN输入变长序列padding

为什么RNN需要处理变长输入假设我们有情感分析的例子，对每句话进行一个感情级别的分类，主体流程大概是下图所示：思路比较简单，但是当我们进行batch个训练数据一起计算的时候，我们会遇到多个训练样例长度不同的情况，这样我们就会很自然的进行padding，将短句子padding为跟最长的句子一样。比如向下图这样：但是这会有一个问题，什么问题呢？比如上图，句子“Yes”只有一个单词，但是padding了5的pad符号，这样会导致LSTM对它的表示通过了非常多无用的字符，这样得到的句子表

2022-04-20 10:27:35 1032

原创 NER简单综述

目录什么是NERNER相关综述类论文NER数据集、评测方法、工具库NER相关的数据集NER评测方法完全匹配松弛匹配NER工具库NER主要方法基于规则的方法无监督学习方法基于特征的监督学习方法深度学习方法BiLSTM+CRFIDCNN+CRFBert+BiLSTM+CRFFLATNER任务的demo代码NER的应用NER未来的研究方向References什么是NERNER全称是命名实体识别（Named Enti

2022-04-20 10:08:13 4291

原创大道至简 —— 条件随机场与逻辑回归、隐马尔科夫模型的比较

前言大道至简 —— 白话条件随机场Conditional Random Fields上一节我们讲到，为了建一个条件随机场，我们首先要定义一个特征函数集，每个特征函数都以整个句子，当前位置，位置和的标签为输入。然后为每一个特征函数赋予一个权重，然后针对每一个标注序列，对所有的特征函数加权求和，必要的话，可以把求和的值转化为一个概率值。那么，我们同样会发现，条件随机场在形式和作用上好像和逻辑回归和HMM有点相似。条件随机场和逻辑回归观察公式：上式含义为，对给定序列，标注序列在所有标注序.

2022-04-15 11:12:46 3017

原创大道至简 —— 白话条件随机场Conditional Random Fields

前言李航大佬的《统计学习方法》相信很多人都拜读过，在条件随机场那章有非常多的理论证明和公式推导，非常之抽象，因此理解起来也比较困难。那么今天，我将会用一种大白话的方式将条件随机场具象化，让这玩意儿没有任何学习壁垒。一个例子假如你有小明同学一天内不同时段的照片，从小明起床到睡觉各个时间段都有。现在我们的任务是对这些照片进行分类，比如照片1是吃饭，那就给照片1打上吃饭的标签；照片2是睡觉，那就给照片2打上睡觉的标签；照片3是学习，那就给照片3打上学习的标签。但是，既然要分类，人工分类的效率毫无疑问是

2022-04-15 10:34:30 555

原创 KITTI 3D目标检测数据集入门

下载地址与描述数据集官网下载地址：The KITTI Vision Benchmark Suite3D目标检测数据集由7481个训练图像和7518个测试图像以及相应的点云数据组成，包括总共80256个标记对象。上图红色框标记的为我们需要的数据，分别是彩色图像数据（12GB）、点云数据（29GB）、相机矫正数据（16MB）、标签数据（5MB）。其中彩色图像数据、点云数据、相机矫正数据均包含training（7481）和testing（7518）两个部分，标签数据只有training数据。需要

2022-03-24 16:48:19 5999

原创保姆级教学 —— 手把手教你复现Vision Transformer

前言Transformer的初衷是借助多头注意力机制解决seq2seq在机器翻译中对长距离上下文翻译不准确的问题，因为seq2seq中的encoder对任意句子只能给出一个固定的size表征，而这个表征在遇到长句时会显得包含的信息量不够。ViT的标题中的“AN IMAGE IS WORTH 16X16 WORDS”可以看出，ViT将图片分割为固定数量的patches，每个patch都视作一个token，同时引入了多头自注意力机制去提取包含了关系信息的特征信息。阅读本文须知为高效阅读本文，建议

2022-03-24 16:19:42 4932 3

原创 PyTorch何时使用transpose和permute

前言transpose和permute作为PyTorch中的两大转置函数transpose参数 input(Tensor) – 输入的张量 dim0(int) – 转置的第一个维度 dim1(int) – 转置的第二个维度返回值Returns a tensor that is a transposed version ofinput. The given dimensionsdim0anddim1are swapped.Ifinp...

2022-03-24 09:24:54 3216

原创解决方案：Windows DNS服务器未响应

方法一　　1.这种情况可能是DNS服务器地址错误导致的，首先我们右键左下角"菜单"按钮，点击进入"设置"界面;　　2.选择"网络和Internet选项";　　3.点击状态页面中的"更改适配器选项";　　4.右键点击我们的网络打开"属性";　　5.选择下方的"Internet协议版本4(TCP/IPv4)选项"，点击下方"属性";　　6.勾选下方的"使用下面的DNS服务器地址"，然后在"首选服务器"中输入"8.8.8.8"或者"114.114.114.114"，大家也可以在网上搜索其他

2022-03-21 09:56:28 25785 1

原创详解PyTorch中的contiguous

目录前言PyTorch中的is_contiguous是啥？行优先为什么需要contiguous？为什么不在view方法中默认调用contiguous方法?前言contiguous 本身是形容词，表示连续的，关于 contiguous，PyTorch 提供了is_contiguous、contiguous(形容词动用)两个方法，分别用于判定Tensor是否是 contiguous 的，以及保证Tensor是contiguous的。PyTorch中的is_con...

2022-03-20 11:56:21 863

原创雷达距离-方位(RA)图目标检测一些笔记（持续更新）

目录距离方位角大致测量过程射频数据的特性（对于目标检测而言）一些要素最近在看RODNet，顺便记录一下上面提到的有关雷达的玩意儿。距离方位角大致测量过程Chirp信号 -> 目标 -> 反射回波 -> 预处理 -> 快速傅里叶变换 -> 距离测量 -> 低通滤波去除高频噪声 -> 第二个快速傅里叶变换（不同接收天线）-> 方位角信息 -> 距离-方位角图对于上面的预处理，还得去研究研究包括哪些方法。射频数据的特性（

2022-03-13 17:00:13 3810

原创全网独家解决方案: doccano报错 Your models in app(s): ‘api‘ have changes that are not yet reflected in a migrat

报错在命令行中打开doccano时，系统报错：Your models in app(s): 'api' have changes that are not yet reflected in a migration, and so won't be applied. Run 'manage.py makemigrations' to make new migrations, and then re-run 'manage.py migrate' to apply them.问题分析我们.

2022-03-02 20:43:43 2512

原创解决方案 jupyter 500 internal server error

pip install --upgrade --user nbconvert

2022-02-28 16:21:01 1076

原创 EM算法小结

最近因科研工作需要，把EM重新过了一遍。特点迭代算法每次迭代分为E步（求期望），M步（求极大）用于含有隐变量的概率模型参数的极大似然估计或极大后验估计注：如果模型中仅有观测变量，那么仅需极大似然估计或贝叶斯估计即可。要点含有隐变量的概率模型的数据表示为，在这里，是观测变量，是隐变量，是模型参数。EM算法通过迭代求解观测数据的对数似然函数的极大化，实现极大似然估计。每次迭代包括两步：E步，求期望，即求关于的期望：我们称之为Q函数，这里是参数的第次的估计值；M步，求极大，即极大

2022-02-03 15:13:00 954

转载简述主动学习Active Learning

目录1. 简介2. 模型分类3. 基本查询策略4. 经典方法5. 应用场景6. 实际应用可能存在的问题1. 简介主动学习是一种通过主动选择最有价值的样本进行标注的机器学习或人工智能方法。其目的是使用尽可能少的、高质量的样本标注使模型达到尽可能好的性能。也就是说，主动学习方法能够提高样本及标注的增益，在有限标注预算的前提下，最大化模型的性能，是一种从样本的角度，提高数据效率的方案，因而被应用在标注成本高、标注难度大等任务中，例如医疗图像、无人驾驶、异常检测、基于互联网大数据

2022-02-02 16:48:20 671

原创解决方案： ERROR: Could not build wheels for opencv-python which use PEP 517 and cannot be installed dire

首先pip install --upgrade pip setuptools wheel --user然后pip install opencv-python

2022-01-01 21:38:48 4017 7

原创重新安装被误卸载的pip

1. 第一步，下载文件get-pip.py，连接给出了：https://download.csdn.net/download/qq_18566467/11752719假如你无法下载，你可以打开链接https://bootstrap.pypa.io/get-pip.py，然后复制一份，保存为get-pip.py，再进行接下来的步骤。2. 第二步，然后在cmd中进入这个文件所在的目录，比如我放在桌面，就输入cd c:\...\Desktop，然后执行python get-pip.py，你会发现pip出现

2022-01-01 21:36:24 1546

原创 MATLAB之圣诞树

代码：close all;clear;clc% setupsnow=450; % number of snow flakes [0 .. 5000]% draw treeh=0:0.2:25; %vertical grid[X,Y,Z] = cylinder(tree(h)); %produce a tree formed cylinderZ=Z*25; %scale to the right heigth%Add some diffusion to the surface of

2021-12-24 21:17:53 3103

原创解决方案：from . import _imaging as core 找不到此模块

解决方案：更新Pillowpip install -U Pillow

2021-12-18 20:56:30 3337 1

原创 Vision Transformer发展现状

背景自 DETR 与 Vision Transformer 分别从 ECCV 2020 和 ICLR 2021 横空出世，ViT的各类Variants也随之诞生。那么目前ViT们的发展状况如何呢？今天，小编就带你一探究竟。开山之作 —— Vision Transformer我们都知道，Transformer的初衷是借助多头注意力机制解决seq2seq在机器翻译中对长距离上下文翻译不准确的问题，因为seq2seq中的encoder对任意句子只能给出一个固定的size表征，而这个表征在遇到长句时会显

2021-12-15 11:09:23 3934 1

原创深入解读 Twins-PCPVT and Twins-SVT —— 更强的Vision Transformer Backbone

论文作者单位：美团，阿德莱德大学 Arxiv:http://arxiv.org/abs/2104.13840 Github:https://github.com/Meituan-AutoML/Twins（分类、分割代码及模型均已开源）———————————————背景AI大类顶会 Neurl 2021 总共接收到来自全球的9122篇论文，录用率26%（大概2371篇左右）。对于NLP而言，Transformer的地位自然是无可撼动的；对于CV而言，自 DETR 与 Vision ...

2021-12-15 11:05:20 5066 1

原创小工具：python批量修改同类文件文件名

以jpg文件为例import osroot_path = f"……"def file_filter(file): if os.path.splitext(file)[-1][1:] == 'jpg': return True return Falsefiles = [item for item in os.listdir(root_path) if file_filter(item)==True]count = 0for file in files.

2021-12-08 13:26:53 606

原创解决方案：Layout of the output array img is incompatible with cv::Mat

sample = images[1].permute(1,2,0).cpu().numpy()添加 copy()方法sample = images[1].permute(1,2,0).cpu().numpy().copy()具体原因不详

2021-12-02 21:00:38 1505

原创解决方案：RuntimeError: Given groups=1, weight of size [768, 3, 16, 16], expected input[1, 4, 384, 384]

添加 .convert('RGB')file = Image.open(file_tmp).convert('RGB')

2021-11-30 21:00:36 2356 1

原创详解激活函数Swish

深层神经网络激活函数的选择对网络的训练动力学和任务性能有着重要的影响。目前，最成功和广泛使用的激活函数是矫正线性单元(ReLU) ，它是 f (x) = max (0，x)。虽然有人提出了各种替代 ReLU的办法，但由于收益不一致，没有一种办法能够取代它。因此，谷歌大脑团队提出了一个名为 Swish 的新激活函数，简称 f (x) = x s (x)。他们的实验表明，在一些具有挑战性的数据集上，Swish 比 ReLU 在更深层次的模型上工作得更好。例如，只需简单地用 Swish 单位替换 ReLUs，M.

2021-11-23 15:46:06 10892

关于社会计算的PPT学习资源

空空如也