一直在努力的小宁-CSDN博客

原创 53 语言模型【动手学深度学习v2】

https://www.bilibili.com/read/cv17622666/?jump_opus=1https://www.bilibili.com/read/cv17622666/?jump_opus=1

2024-04-23 16:42:36 153

原创 52 文本预处理【动手学深度学习v2】

建立一个词表，将拆分的词元映射到数字索引;将文本转换为数字索引序列，方便模型操作。将字符串拆分为词元（如单词和字符）。将文本作为字符串加载到内存中。

2024-04-22 21:53:06 107

原创 51 序列模型【动手学深度学习v2】

介绍了序列模型，主要讨论了RNN和NLP在处理序列数据中的应用。视频提到了时间信息对模型的影响，以及数据序列的常见特征和应用场景。视频还介绍了序列数据的建模方法，包括使用马尔科夫假设和MLP模型。最后，视频提到了潜变量模型的应用。通过这个视频，可以了解到序列模型的基本概念和应用。

2024-04-10 12:04:14 245

原创 49 样式迁移【李沐动手学深度学习v2课程笔记】

因为合成图片是样式迁移所需迭代的模型参数，所以只能在训练的过程中抽取合成图片的内容特征和样式特征。合成图片保留了内容图片的内容，并同时迁移了样式图片的样式。

2024-04-09 17:48:45 900

原创 48 全连接卷积神经网络 FCN【动手学深度学习v2】

如下图所示，全卷积网络先使用卷积神经网络抽取图像特征，然后通过1×1卷积层将通道数变换为类别个数，最后通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。因此，模型输出与输入图像的高和宽相同，且最终输出通道包含了该空间位置像素的类别预测。出于对训练速度的考虑，本节网络中的1*1卷积层，将7*7*512的数据结构直接压缩到了7*7*class_num，造成了较大的信息损失，若要对预测效果进行进一步优化的话可以调节这一层。全连接卷积神经网络：神经网络处理语义分割问题的奠基性工作，目前已不太常用。

2024-04-09 17:26:51 454

原创 47 转置卷积【李沐动手学深度学习v2课程笔记】

卷积层和汇聚层通常会减少下采样输入图像的空间维度（高和宽），卷积通常来说不会增大输入的高和宽，要么保持高和宽不变，要么会将高宽减半，很少会有卷积将高宽变大的。如果输入和输出图像的空间维度相同，会便于以像素级分类的语义分割：输出像素所处的通道维可以保有输入像素在同一位置上的分类结果（为实现输入和输出的空间维度的一致，在空间维度被卷积神经网络层缩小后，可以使用转置卷积增加上采样中间层特征图的空间维度）需要注意的是，转置卷积的使用需要根据具体的任务和网络架构进行调整，包括选择合适的参数和结合其他操作。

2024-04-09 17:10:06 374

原创 46 语义分割和数据集【李沐动手学深度学习v2课程笔记】

由于语义分割的输入图像和标签在像素上一一对应，输入图像会被随机裁剪为固定尺寸而不是缩放。语义分割通过将图像划分为属于不同语义类别的区域，来识别并理解图像中像素级别的内容。语义分割的一个重要的数据集叫做Pascal VOC2012。13.9. 语义分割和数据集。

2024-04-09 16:21:11 302

原创《InfMAE: A Foundation Model in Infrared Modality》CVPR2024

整体架构差不多，不一样的地方值得研究，就可以考虑A+B。2. 利用跨模态的基础模型去做我们领域的基础研究。3. 每天泛读3-5篇文献，精读1篇获取经验。以后的研究中必须把大模型和基础模型耦合进来。

2024-03-21 19:59:15 188

原创 44 物体检测算法：R-CNN，SSD，YOLO【李沐动手学深度学习v2课程笔记】

对每个像素生成多个以它为中心的多个锚框上图中绿色的点表示 SSD从图中可以看出，SSD 相对于Faster RCNN 来讲速度快很多，但是精度不是太好SSD 的实现相对来讲比较简单，R-CNN 系列代码的实现非常困难。

2024-03-20 18:06:09 964

原创 41 物体检测和目标检测数据集【李沐动手学深度学习v2课程笔记】

我们使用输入图像在某个感受野区域内的信息，来预测输入图像上与该区域位置相近的锚框类别和偏移量。目标检测不仅可以识别图像中所有感兴趣的物体，还能识别它们的位置，该位置通常由矩形边界框表示。我们可以在两种常用的边界框表示（中间，宽度，高度）和（左上，右下）坐标之间进行转换。我们可以通过深入学习，在多个层次上的图像分层表示进行多尺度目标检测。通过定义特征图的形状，我们可以决定任何图像上均匀采样的锚框的中心。在多个尺度下，我们可以生成不同尺寸的锚框来检测不同尺寸的目标。

2024-03-20 17:17:51 309

原创 37 微调（迁移学习）【动手学深度学习v2】（备注：这一节非常重要）

前面的一些章节介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1000万的图像和1000类的物体。然而，我们平常接触到的数据集的规模通常在这两者之间。假如我们想识别图片中不同类型的椅子，然后向用户推荐购买链接。一种可能的方法是首先识别100把普通椅子，为每把椅子拍摄1000张不同角度的图像，然后在收集的图像数据集上训练一个分类模型。

2024-03-20 11:26:06 770

原创最好用的软件安装教程合集（Matlab\ Anaconda\Pytorch..)

http://t.csdnimg.cn/dQ0Qwhttp://t.csdnimg.cn/dQ0Qwhttps://blog.csdn.net/fan18317517352/article/details/123035625https://blog.csdn.net/fan18317517352/article/details/123035625https://blog.csdn.net/weixin_44752340/article/details/130542629https://blog.csdn.n

2024-03-19 13:43:32 444

原创《Positive-incentive Noise》IEEE Transactions on Neural Networks and Learnin S stems,论文精读

本文对噪声是否总是产生负面影响进行了反思。这种怀疑来自于对噪音的松散定义。通过对任务T和噪声的互信息建模，将传统的“噪声”分为π噪声和纯噪声两类。简而言之，π噪声是一种可以简化目标任务的随机信号。通过一些令人信服的实验，并表明一些已有的课题(如随机共振、多任务学习、对抗训练)可以作为特例来解释，我们从经验和理论上得出π噪声在各个领域都是普遍存在的结论。π噪声的一般性质、π噪声量的上界、π噪声在一般条件下的存在性、π噪声模型设计的新原则等仍有许多值得深入研究的问题。重要的是，π噪声也与信息容量的研究有关。这

2024-03-17 20:28:43 885

原创 36 数据增广【李沐动手学深度学习v2课程笔记】

在下面的示例中，我们随机更改图像的亮度，随机值为原始图像的50%（1−0.5）到150%（1+0.5）之间。为了在预测过程中得到确切的结果，我们通常对训练样本只进行图像增广，且在预测过程中不使用随机操作的图像增广。该函数获取所有的GPU，并使用Adam作为训练的优化算法，将图像增广应用于训练集，最后调用刚刚定义的用于训练和评估模型的。为了在预测过程中得到确切的结果，我们通常对训练样本只进行图像增广，而在预测过程中不使用带随机操作的图像增广。在我们使用的示例图像中，猫位于图像的中间，但并非所有图像都是这样。

2024-03-12 16:25:25 829 1

原创 29.2 ResNet为什么能训练出1000层的模型【李沐动手学深度学习v2课程笔记】

从梯度大小的角度来解释，residual connection 使得靠近数据的层的权重 w 也能够获得比较大的梯度，因此，不管网络有多深，下面的层都是可以拿到足够大的梯度，使得网络能够比较高效地更新。靠近数据端的权重 w 难以训练，但是由于加入了跨层数据通路，所以在计算梯度的时候，上层的loss可以通过跨层连接通路直接快速地传递给下层，所以在一开始，下面的层也能够拿到比较大的梯度。将乘法运算变成加法运算（ResNet就是这么做的，特别是残差连接（Residual Connection））

2024-03-12 11:22:14 325

原创 29 残差网络 ResNet【李沐动手学深度学习v2课程笔记】

ResNet沿用了VGG完整的3×3卷积层设计。残差块里首先有2个有相同输出通道数的3×3卷积层。每个卷积层后接一个批量规范化层和ReLU激活函数。然后我们通过跨层数据通路，跳过这2个卷积运算，将输入直接加在最后的ReLU激活函数前。这样的设计要求2个卷积层的输出与输入形状一样，从而使它们可以相加。3x3卷积层-批量规范化层-ReLU激活函数3x3卷积层-批量规范化层-ReLU激活函数如果想改变通道数，就需要引入一个额外的1×1卷积层来将输入变换成需要的形状后再做相加运算。

2024-03-12 11:16:57 374

原创 28 批量归一化【李沐动手学深度学习v2课程笔记】（备注：这一节讲的很迷惑，很乱）

下面，我们从头开始实现一个具有张量的批量规范化层# 通过is_grad_enabled来判断当前模式是训练模式还是预测模式# 如果是在预测模式下，直接使用传入的移动平均所得的均值和方差else:# 使用全连接层的情况，计算特征维上的均值和方差else:# 使用二维卷积层的情况，计算通道维上（axis=1）的均值和方差。# 这里我们需要保持X的形状以便后面可以做广播运算# 训练模式下，用当前的均值和方差做标准化# 更新移动平均的均值和方差。

2024-03-11 17:21:45 805

原创 27 含并行连结的网络 GoogLeNet / Inception V3【李沐动手学深度学习v2】

白色框：用来改变通道数蓝色框：用来抽取信息。GoogLeNet模型的计算复杂，而且不如VGG那样便于修改通道数。为了使Fashion-MNIST上的训练短小的通道数分配和第三模块中的类似，首先是含3×3卷积层的第二条路径输出最多通道，其次是仅含1×1卷积精悍，第五模块包含输出通道数为256+320+128+128=832和384+384+128+128=1024的两个Inception块。其中每条路径通道数的分配思路和第三、第四模块中的一致，只是在具体数值上有所不同。需要注意的是，第五模块的后面紧跟输

2024-03-11 11:36:06 615

原创 26 网络中的网络 NiN 【李沐动手学深度学习v2课程笔记】

LeNet、AlexNet和VGG都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块。或者，可以想象在这个过程的早期使用全连接层。然而，如果使用了全连接层，可能会完全放弃表征的空间结构。网络中的网络NiN）提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知机 (

2024-03-10 21:57:23 912

原创 25 使用块的网络 VGG【李沐动手学深度学习v2课程笔记】

虽然AlexNet证明深层神经网络卓有成效，但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。与芯片设计中工程师从放置晶体管到逻辑元件再到逻辑块的过程类似，神经网络架构的设计也逐渐变得更加抽象。研究人员开始从单个神经元的角度思考问题，发展到整个层，现在又转向的模式。使用块的想法首先出现在牛津大学的的VGG网络中。通过使用循环和子程序，可以很容易地在任何现代深度学习框架的代码中实现这些重复的架构。

2024-03-10 21:49:38 693

原创 24 深度卷积神经网络 AlexNet【李沐动手学深度学习v2课程笔记】（备注：含AlexNet和LeNet对比）

2001 Learning with Kernels 核方法（机器学习）特征工程是关键、特征描述子：SIFT、SURF、视觉词袋（聚类）、最后用。抽取特征、描述集合、（非）凸优化、漂亮定理、如果假设满足了，效果非常好。2010 ImageNet 物体分类数据集：自然物体的彩色图片。计算能力和算法能力在不同阶段的发展能力导致大家在选取上有偏好。特征提取、选择核函数来计算相似性、凸优化问题、漂亮的定理。从上到下依次为样本大小、内存大小、CPU速度。丢弃法、Relu、MaxPooling。

2024-03-10 21:39:18 1010

原创 23 经典卷积神经网络 LeNet【李沐动手学深度学习v2课程笔记】（备注：提到如何把代码从CPU改到在GPU上使用）

本节将介绍LeNet，它是最早发布的卷积神经网络之一，因其在计算机视觉任务中的高效性能而受到广泛关注。这个模型是由AT&T贝尔实验室的研究员Yann LeCun在1989年提出的（并以其命名），目的是识别图像 ()中的手写数字。当时，Yann LeCun发表了第一篇通过反向传播成功训练卷积神经网络的研究，这项工作代表了十多年来神经网络研究开发的成果。当时，LeNet取得了与支持向量机（support vector machines）性能相媲美的成果，成为监督学习的主流方法。

2024-03-10 20:10:52 802

原创 22 池化层【李沐动手学深度学习v2课程笔记】

物体稍微变动，结果不会变化太多2x2最大池化写错了，更正如下（因为汇聚层的主要优点之一是减轻卷积层对位置的过度敏感。是从卷积输出作用过来的）汇聚层的输出通道数与输入通道数相同。用最大汇聚层以及大于1的对于给定输入元素，最大汇聚层会输出该窗口内的最大值，平均汇聚层会输出该窗口内的平均值步幅，可减少空间维度（如高度和宽度）。我们可以指定汇聚层的填充和步幅。

2024-03-09 11:38:27 688

原创 21 卷积层里的多输入多输出通道【李沐动手学深度学习v2课程笔记】

1×1卷积，即�ℎ=��=1，看起来似乎没有多大意义。毕竟，卷积的本质是有效提取相邻像素间的相关特征，而1×1卷积显然没有此作用。尽管如此，1×1仍然十分流行，经常包含在复杂深层网络的设计中。因为使用了最小窗口，1×1卷积失去了卷积层的特有能力——在高度和宽度维度上，识别相邻元素间相互作用的能力。简而言之，我们所做的就是对每个通道执行互相关操作，然后将结果相加。在互相关运算中，每个输出通道先获取所有输入通道，再以对应该输出通道的卷积核计算出结果。如下所示，我们实现一个计算多个通道的输出的互相关函数。

2024-03-09 11:15:14 855

空空如也

空空如也