- 博客(324)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 [移动通讯]【无线感知-P1】[从菲涅尔区模型到CSI模型-5]【The Riemann Mapping Theorem】
黎曼映射（The Riemann Mapping）定理是复分析最深刻的定理之一，也是复变函数几何理论最基本、最重要的定理. 黎曼映射是 Mobius变换 的核心定义之一。单连通域是直观上没有洞的平面区域的推广,即区域内任何一条简单闭曲线的内部没有不属于D的点。映射到一个无噪声的域中，在无噪声的环境中分析模型，然后通过Mobius 反演，平移，膨胀。了解另一个区域的类似流体流动，将这个流从上半平面映射到,使用黎曼映射的期望区域。被限制在第一象限内.则经过mobius 变化后对应为一个半圆.
2024-04-29 11:29:32
839
原创 [移动通讯]【无线感知-P1】[从菲涅尔区模型到CSI模型-3][Mobius transformations-4]
前面我们理解了Mobius transformation 的定义以及一些基本性质，最重要的是了解其confromal map ,以及 inversion 反演的一些特性.本节 依然结合 Petra Bonfert-Taylor 的《Möbius transformatios》深入了解一下Mobius transformations，下一节我们重点学习一下《The Riemann Mapping Theorem》黎曼映射定理。
2024-04-25 17:22:09
263
原创 [移动通讯]【无线感知-P1】[从菲涅尔区模型到CSI模型-3][Mobius transformations-3]
做旋转,膨胀,平移等操作（rotation dilation translation）如果分子分母同乘以一个constant k我们发现结果不变,所以对于给定的变换f(z)1.1 f(z) 是非常数（non-constant ）相当于对原图像做旋转和膨胀（rotation&dilation）先求导,导数不为0,所以f(z)不能是常数。设圆通过mobius 变换后的图像是什么呢？是半径为1的圆，中心点在1，那么f(k)是什么？,因为导数不为0 ，所以f(z)也不能为常数。设 c= 0,d=1, 则。
2024-04-22 19:41:51
821
原创 [移动通讯]【无线感知-P1】[从菲涅尔区模型到CSI模型-3][Mobius transformations-1]
本文结合Mobius变换来解释该原理.通过该课程最终深入的理解Mobius map 本质上是 tranlation+Reflection+Rotation+Enlargement| Enlargement/Shrinking的组合,特别是Mobius变换后形状不变所以用来做轨迹的分析.tranlation+Reflection+Rotation+Enlargement| Enlargement/Shrinking ，通过变换依然保留了原空间的形状，原来是圆依然是圆。3.2 Rotation (旋转）
2024-04-22 11:54:45
844
原创 [移动通讯]【无线感知-P1】[从菲涅尔区模型到CSI模型-2]
发射机和接收机的采样频率由于时钟不同步而出现偏移，这可能导致ADC后的接收信号相对于发射信号发生时移。数据包检测引入了另一个相对于传输信号的时移[13,ref21]，这导致了数据包变化的相位旋转误差。传输对的中心频率不可能完全同步。由于硬件分辨率的限制，例如Atheros 9380的分辨率为0.5dB, LNA和PGA获得的总增益无法完美地补偿信号幅度衰减使其达到发射功率的水平。由于商品WiFi设备网卡的硬件缺陷，内部信号处理电路的频率响应与基带中的真实信道频率响应混合，也就是说获得的CSI测量。
2024-04-17 08:47:10
588
原创 [移动通讯]【无线感知-P1】[从菲涅尔区模型到CSI模型-1]
6G 技术的发展,智能感知是其核心功能. 卫星通讯80年代摩托罗拉已经能做到了.但是通过电磁波进行智能感知依然是一个很前沿的方向,早期以MIT,华盛顿大学为代表在这个领域做了大量基础的开拓性研究,2015年的时候有爱立信的前同事跟我分享过他们的6G预言项目，也是做这块研究的，当时觉得挺神奇的。今年因为工作关系成了CCF会员，看到国内不少大学在做这个方向的基础研究，决定找些资料深入研究一下底层的基础原理，算法，应用，缺陷。也欢迎小伙伴留言进行探讨.
2024-04-11 15:28:16
684
原创 【PyTorch][chapter 25][李宏毅深度学习][Transfer Learning-1]
TaskB: 通过语音识别中英文. 我们很容易获得大量 Source Data,，我们是否可以先 训练一个模型B,实现中英文文语音识别. 然后再通过模型B 的参数去实现 Task A呢？固定Model 1,构建Model 2，把task2 的数据集输入Model 1,其每一层的输出添加进Model2 的输入层, 训练Model 2。输入一段语音,使用相同的Encoder,不同的Decoder来训练多任务，实现中文,法文,日文,英文文字识别任务。多任务使用一个模型实现多任务的预测。
2024-04-08 15:16:16
1032
原创 【PyTorch][chapter 25][李宏毅深度学习][ CycleGAN]【实战】
参数配置是通过argparse 实现的，这样通过google colab 调试的时候。文件目录：options\train_options.py。CycleGAN 是先训练生成器G, 再训练鉴别器D。论文中直接提供了GitHub 的代码下载地址。GAN 模型是先训练鉴别器D, 再训练生成器G。主要定义了生成器，鉴别器的网络结构。6: 训练和测试代码。4： network代码。define_G 生成器。define_D 鉴别器。可以动态的设置超参数进行训练。network.py中实现。
2024-04-02 15:09:06
651
1
原创 【PyTorch][chapter 24][李宏毅深度学习][ CycleGAN]【理论】
图像到图像的转换是一类视觉和图形问题，其目标是使用对齐图像对的训练集来学习输入图像和输出图像之间的映射（Pix2Pix）。生成的图像原则上是无法区分的来自真实照片.在图像生成任务中，adversarial loss 作用特别强大 .cycleGAN 也采用了的对抗性损失，使得翻译后的图像无法与目标中的图像区分开。CycleGAN的创新点在于能够在源域和目标域之间,无须建立训练数据间一对一的映射,就可以实现这种迁移,更重要的是生成新的图片和原始图片是一种有意义的配对.在有些场景下这种差距很难或者不可能接近。
2024-03-25 16:33:27
1114
原创 【PyTorch][chapter 22][李宏毅深度学习][ WGAN]【实战三】
原因是判别器是一个多层网络，如果我们把clipping threshold设得稍微小了一点，每经过一层网络，梯度就变小一点点，多层之后就会指数衰减；反之，如果设得稍微大了一点，每经过一层网络，梯度变大一点点，多层之后就会指数爆炸。只有设得不大不小，才能让生成器获得恰到好处的回传梯度，然而在实际应用中这个平衡区域可能很狭窄，就会给调参工作带来麻烦。我们知道WGAN 是根据Wasserstein Distance 推导出来的。WGAN 训练起来蛮麻烦的,如果要获得好的效果很多超参数需要手动设置。
2024-03-19 15:07:37
798
原创 【PyTorch][chapter 22][李宏毅深度学习]【无监督学习][ WGAN]【理论二】
此外，我们想用它来训练我们的生成器网络，该网络生成分布,为此，我们必须能够计算梯度。自从p和q只是我们优化的限制，这不可能以任何直接的方式实现. 事实证明，还有另一种更方便的 EMD 计算方法。不幸的是，这种优化在很多情况下并不实用，尤其是在通常使用 GAN 的领域。即使是近似值那么几乎是不可能的。EMD问题可以通过线性规划来求解，其核心思想是将一个分布的密度通过“搬土”的方式转移到另一个分布的位置上，使得转移的代价最小。在这个过程中，每个点对之间的距离和转移的量共同决定了总的工作量，即EMD。
2024-03-13 16:24:35
962
原创 【PyTorch][chapter 22][李宏毅深度学习]【无监督学习][ WGAN]【理论一】
2014年Ian Goodfellow提出以来，GAN就存在着训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题。从那时起，很多论文都在尝试解决，但是效果不尽人意，比如最有名的一个改进DCGAN依靠的是对判别器和生成器的架构进行实验枚举，最终找到一组比较好的网络架构设置，但是实际上是治标不治本，没有彻底解决问题。2017年Martin Arjovsky提出了 Wasserstein GAN（下面简称WGAN）成功解决了GAN的系列问题：
2024-03-08 15:47:12
1104
原创 【PyTorch][chapter 20][李宏毅深度学习]【无监督学习][ GAN]【实战】
本篇主要是结合手写数字例子,结合PyTorch 介绍一下Gan 实战。
2024-03-01 17:26:45
450
原创 【PyTorch][chapter 19][李宏毅深度学习]【无监督学习][ GAN]【理论】
比如输入黑白照片（A）输出彩色照片（B），输入轮廓照片（A）输出色彩填充照片（B）等（如图1），本文介绍的pix2pix模型所处理的就是这类任务。VAE 通过Decoder 产生的图片只是要尽可能的跟输入的图像相似，但是无法产生新的以假乱真的图片。生成模型通过训练进化了,调整其参数,绿线和黑线分布接近了,鉴别模型还是能够分出真假。生成模型通过训练进化了,调整其参数,绿线和黑线分布一致,鉴别模型无法给出真假。生成模型很弱,绿线和黑线分布有较大的差异,鉴别模型很容易区分出真假.绿线 生成模型产生的分布。
2024-03-01 13:33:27
1050
原创 【PyTorch][chapter 18][李宏毅深度学习]【无监督学习][ VAE]
与传统的自编码器通过数值的方式描述潜在空间不同，它以概率的方式描述对潜在空间的观察，在数据生成方面表现出了巨大的应用价值。固定概率分布p(x)（或q(x）的情况下，对于任意的概率分布q(x)（或p(x))），都有KL(p(x)||q(x))≥0，而且只有当p(x)=q(x)时才等于零。寻找 Z空间到 X空间的映射，这样我们通过在Z空间采样映射到 X 空间就可以生成新的图片。因为训练的时候,模型对训练的图像和特征空间Z的映射是离散的,对特征空间z。假设通过AE 模型训练动物的图像,特征空间Z为一维度。
2024-02-26 16:54:59
967
1
原创 【PyTorch][chapter 17][李宏毅深度学习]【无监督学习][ Auto-encoder]
最初的Bag-of-words ，也叫做“词袋”，在信息检索中，Bag-of-words model假定对于一个文本，忽略其词序和语法，句法，将其仅仅看做是一个词集合，或者说是词的一个组合，文本中每个词的出现都是独立的，不依赖于其他词是否出现。我们能以多种形式去记忆（比如图像、声音，甚至如上图的词根记忆法），所以即便是数据破损丢失，我们也能回想起来,所以在输入中即使加入了噪声也不会影响模型的性能,只会使得鲁棒性更强.文章2：文章b = [1, 1, 1, 1, 0, 1, 1, 1, 0, 0]
2024-02-21 10:49:57
1250
原创 【PyTorch][chapter 16][李宏毅深度学习][Neighbor Embedding][t-SNE]
t-SNE(t-Distributed Stochastic Neighbor Embedding)是一种降维技术，LLE在进行降维时，都强调了降维后的相似的数据要尽可能地保持相似，但并没有说对于那些不相似的数据，要有多不相似这个问题.t-SNE中的“t-分布”是一种特殊的概率分布函数，它在低维空间中有利于保留局部结构，同时对于远离的数据点，它会赋予较大的权重。这就导致了在进行降维时，可能导致数据的重叠问题，导致在低维空间中一样很难进行区分。,使用KL 散度,使得高维空间和低维空间的样本概率分布一致。
2024-02-19 18:30:34
815
1
原创 【PyTorch][chapter 15][李宏毅深度学习][Neighbor Embedding-LLE]
和传统的PCA，LDA等关注样本方差的降维方法相比，LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，它广泛的用于图像图像识别，高维数据可视化等领域。我们得到了高维的权重系数W，那么我们希望这些权重系数对应的线性关系在降维后的低维一样得到保持。要得到最小的d维数据集，我们需要求出矩阵M最小的d个特征值所对应的d个特征向量组成的矩阵。2）算法对最近邻样本数的选择敏感，不同的最近邻数对最后的降维结果有很大影响。1）算法所学习的流形只能是不闭合的，且样本集是稠密均匀的。
2024-02-07 16:48:36
895
原创 【PyTorch][chapter 14][李宏毅深度学习][Word Embedding]
CBOW的基本思想是，给定一个单词的上下文（即窗口内的其他单词），预测该单词本身。我们在看一篇文章时，若是将一个词的周围几个词盖住让我们猜测，我们也能够大致的猜出被盖住部分原有的词语，因为文章中每个词语与其周围的词之间都是有关系的，也可以说，每个词都决定了和它相邻的词。为了完成上面的训练目标，skip-gram模型有一个长度为2c+1的滑动窗口（上图为5），这个窗口会在语料库中滑动，每滑动以此，被窗口包括在内的2c+1个词就会被用与模型的训练。通过通过一些文章，统计每个单词,之后或者之前出现的单词的概率。
2024-02-04 14:36:31
955
原创 PyTorch][chapter 13[李宏毅深度学习][Semi-supervised Linear Methods-2]
PCA是一种线性降维方法，它假设数据是线性可分的。对于非线性问题，PCA可能无法捕捉到数据的复杂结构。标准化是必要的，因为PCA是基于特征之间的协方差矩阵进行计算的。如果数据不经过合适的预处理，可能会导致结果不准确或不可靠。选择较少的主成分可以实现较高的压缩率，但可能会丢失一些重要信息。而选择较多的主成分可能会保留过多的冗余信息。以手写数字7的图像为例，它由不同的笔画结构组成,分别为。任意矩阵X（m,n），都可以将其分解为如下的形式。还原：。的协方差矩阵的特征值，特征向量得到投影矩阵。
2024-02-02 16:16:29
1065
原创 PyTorch][chapter 12][李宏毅深度学习][Semi-supervised Linear Methods-1]
2 clustering by threshold （通过不同的阀值进行聚类）不同的初始化参数影响很大.可以通过已打标签的数据集作为。PCA 是机器学习里面一种主要降维方案，深度学习里面常用的是AE编码器.如下图在3维空间里面，不同数据分布在不同的空间，通过PCA 降维到2D。2 聚类（pick a threshold 选择不同的阀值进行分类）空间后，不同类别的数据分布依然分布在不同的空间，数据处理起来更方便.1.4 最后只剩下最后两项（N<=k),合并作为root。2 基于合并后的数据集。
2024-01-30 16:47:53
1093
原创 【MIMO 从入门到精通】[P9]【What is beamforming in 5G NR】
上行控制信息（Uplink Control information，UCI）,用于向基站报告UE的状态，如HARQ接收的状态、信道状态信息等。(Azimuth 方位角) dimention and vertical垂直(elevation 高度) dimentions。NR上行物理信号包括探测参考信号（Sounding Reference Signal，SRS）三 SRS & UCI。
2024-01-25 10:45:12
1029
原创 [PyTorch][chapter 11][李宏毅深度学习][Semi-supervised Learning]
半监督SVM通过考虑未标记数据的分布，调整决策边界以提高分类性能。这通常通过引入正则化项来实现，以平衡标记数据和未标记数据的影响.首先，我们使用少量的标记数据来构建一个初始的支持向量机分类器。然后，我们引入未标记数据。未标记数据不会直接影响初始分类器的决策边界，但它们会在训练过程中起到重要作用.现实生活中,存在大量未打标签的数据集，需要充分利用这种未打标签的数据集。如上图，中间2 可以通过右边的2经过一系列的变化得到（中间有联通的区域），3： 从未打标签的数据集中，选择一部分置信度高的添加到已打。
2024-01-23 17:19:44
1092
原创 【MIMO 从入门到精通】[P8][A Detailed Introduction to Beamforming]
波束赋形技术通过调整相位阵列的基本单元的参数，使得某些角度的信号获得相长干涉，而另一些角度的信号获得相消干涉。波束控制是一种动态改变波束方向的技术，基于预期接收者的位置。这是通过根据接收器的反馈或接收器的估计位置实时调整每个天线发射的信号的相位和幅度来完成的。波束赋形（beamforming）和波束控制（beam steering）是无线通信中类似的概念，但它们有一些关键的区别。由于小区的用户数量增加,以及用户期望更高的速率,运营商使用了更高的频谱进行传输。天线阵元M相当于阵元0的波程差为。
2024-01-22 11:51:41
911
原创 [PyTorch][chapter 9][李宏毅深度学习][Why Deep]
深度学习就相同于实现上面模组化的功能，每一层的神经元的输出，作为下一层神经元的输入.使用更深层次的网络，有的用来识别男女,有的用来识别短头发长头发。如下图，我们只用一层的网络，参数量跟多层一样，错误率高很多.深度学习不同的层也相当于不同的函数,不同的函数实现不同的功能，在深度学习采样的模型如下：绿色模块是一些根据专家信息提取的声音。我们写程序，也把函数分为不同模块，实现不同功能。使用深度学习的模型甚至完全不需要上面绿色的模块。同样的参数量，深度网络比浅层网络效果更好。本篇主要简单介绍一下该原因。
2024-01-10 17:23:51
496
原创 [PyTorch][chapter 9][李宏毅深度学习][CNN]
前言： 卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。卷积神经网络的创始人是着名的计算机科学家Yann LeCun，目前在Facebook工作，他是第一个通过卷积神经网络在MNIST数据集上解决手写数字问题的人. CNN 除了在图像分类,还有一些其它有趣的创意方案： 语音识别，风格迁移，DeepDream,围棋游戏方面的应用场景。目录：
2024-01-04 15:50:52
917
原创 【MIMO 从入门到精通】[P7][How does Antenna Spacing affect Beamforming]
2：增加天线距离d 的时候，除了在0度的时候，还会在其它角度会有最强的输出信号，本章主要通过数学公式 讨论一下 天线距离对 beamforming 的影响大小。通过加法器得到的信号为(下面例子只取其实部）技术里面的核心技术之一，所以讲MIMO 必须对Beamforming。接收天线1 和 接收天线2 之间的距离为d。比如下图 d =0.24的时候，d 越大波束赋形的效果越好。有所了解，本篇主要了解一下beamforming。3： 天线数量越多，幅度增强效果越明显。1.2 不同天线上面的输出。
2023-12-28 15:26:33
415
原创 【MIMO 从入门到精通】[P6]【What is Beamforming?】
如果声纳发射装置的每个声纳发生器同时向一艘船发声纳信号，由于远方船只的方位角度，有的声纳发射器的信号先到达船只，有的声纳发射器的信号后到达船只，无法做到让所有声纳信号发生器的信号同时到达这条船只。有了波束赋形技术，就可以调整不同声纳发生器的信号发射时间（离船远的先发信号，离船近的后发信号），这样，所有的声纳信号就能同时击中船只，获得一个强大的声纳脉冲信号击中船只的效果。波束赋形技术通过调整相位阵列的基本单元的参数，使得某些角度的信号获得相长干涉，而另一些角度的信号获得相消干涉。以不同的角度发射震荡电磁波。
2023-12-26 14:07:39
1129
原创 【MIMO 从入门到精通】[P5]【What is Least Squares Estimation】
矩阵 代表接收和发送天线之间的传播信道，这个通过信道估计是一个已知值。可逆，有的时候会使用L2正规化，保证可逆增加模型的泛化性。本章详细介绍一下MIMO 中MSE 译码器原理。我们通过接收到的y 如何还原出原始的发送信号。, 我们实际测量到的y 要和 模型预测到的。向量 代表每根天线实际收到的数据。向量 代表每根天线发送的数据。
2023-12-26 10:23:02
401
原创 [PyTorch][chapter 8][李宏毅深度学习][DNN 训练技巧]
在AdaGrad的基础上，对二阶动量的计算进行了改进：即有历史梯度的信息，但是我又不想让信息一直膨胀，那么只要让历史信息一直衰减就好了。Keras是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化 [1]。在Adagrad算法中，每个参数的学习率各不相同。计算某参数的学习率时需将该参数前面所有时间步的梯度平方求和，随着时间步的增加，学习率将减小.
2023-12-25 17:29:31
1618
原创 【MIMO 从入门到精通】[P4]【MIMO Communications】
是非满秩矩阵的时候，相当于一个噪声信号放大器noise amplification。就是求微分，使得损失函数最小,利用向量链式法则（参考下面连接：矩阵求导术）的特征值的开平方组成，称为奇异值（从大到小排列，U和V对应的特征向量亦如此）当 SNR 很高的时候：发送x的时候使用相同的power： p。简单，当噪声很小的时候, 估计值接近真实值x。我们已知y,H.要求x，就是要使得下面的损失函数最小值。当发送方通过接收方反馈,知道H的时候,先求出逆矩阵。当噪声很大的时候，相差较大。需要通过反馈 ，通知发送方H。
2023-12-25 16:09:41
827
原创 [PyTorch][chapter 8][李宏毅深度学习][Back propagation]
反向传播算法(英:Backpropagation algorithm，简称:BP算法)是一种监督学习算法，常被用来训练多层感知机。2: batch 不能太大，否则容易陷入到局部极小值点，采用小的batch 可以有一定的随机性。这里面随机生成5张图形，分别对应手写数字1,2,3,4,5。但是GPU 可以并行运算，所以可以采用min-batch 方法进行梯度计算。简单的了解一下如何快速搭建一个DNN Model, 梯度如何计算，更新的.s,x,y,z 都是scalar。x,y,z 都是scalar。
2023-12-18 17:22:39
979
1
原创 【MIMO 从入门到精通】[P3]【Channel Estimation】
讲解一下 MIMO （multiple transmit antennas and multiple receivers）里面的信道。如果发送方天线同时发送training data 里面的x,在接收方就会互相干扰。我们通过机器学习里面的regression方法，通过Training Data数据集来。MIMO 是无线通讯里面的核心技术之一.这里面主要参考。信道,跟机器学习regression 里面的权重系数作用一样。噪声,跟机器学习 regression 里面的偏置一样。我们只通过第一根天线发送。
2023-12-15 15:53:31
82
原创 [PyTorch][chapter 7][李宏毅深度学习][深度学习简介]
通过Backpropagation(反向传播算法)更新梯度，Backpropagation 后面会单独介绍。给定了一个函数，可以设置不同的参数，所以对应为。(Deep Neural Networks, 以下简称。深度学习常用的开发平台。不同模型在图像识别上面的错误率,输入层,隐藏层,输出层。1： 深度学习发展历史。)是深度学习的基础,这里面结合。手写数字的例子简单的介绍一下。
2023-12-14 14:21:12
283
原创 【MIMO 从入门到精通】[P4]【科普篇】
空间分集生成相同数据流的不同版本，从而可以对数据流进行编码、调制，然后在不同的天线上发送。数据流可以是要发送的原始数据流，或者作为对原始数据流的某些数学变换的结果的新数据流。技术使多个天线能够同时发送和接收空间流（多个信号），并区分发送到不同空间位置或从不同空间位置接收的信号。Wi-Fi 5开始支持具有四个用户的MU-MIMO，而Wi-Fi 6将MU-MIMO中的用户数量增加到八个。协同MIMO（CO-MIMO）：将多个无线设备组合成一个虚拟的多天线系统，以便相邻的发射机可以同时向多个用户发送数据。
2023-12-14 11:16:24
101
原创 [PyTorch][chapter 6][李宏毅深度学习][Logistic Regression]
logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。2 workclass 工作性质: Private, Self-emp-not-inc, Self-emp-inc, Federal-gov, Local-gov, State-gov, Without-pay, Never-worked.9 race 种族: White, Asian-Pac-Islander, Amer-Indian-Eskimo, Other, Black.
2023-12-12 15:56:28
204
原创 [PyTorch][chapter 5][李宏毅深度学习][Classification]
为了降低过拟合，通常假设不同类别的方差一样,均值不同. 通过增加样本数降低方差。高斯分类器第一步要得到均值,和方差。均值,方差如何获取？这个值就是样本均值和样本的协方差，假设有79个点。这章节主要讲解常用的分类器原理.分类主要是要找到一个映射函数。主要应用场景： 垃圾邮件分类,手写数字识别,金融信用评估.不同均值,方差的高斯分类器容易发生过拟合.假设不同类别服从不同的高斯分布。有两个盒子,里面分别放绿球和红球。: 条件概率,不同类别中出现x的概率。: 不同类别出现的概率，先验概率。
2023-12-06 11:11:36
253
原创 [PyTorch][chapter 4][李宏毅深度学习][Gradient Descent]
Data 含有 18 项观测数据 AMB_TEMP, CH4, CO, NHMC, NO, NO2, NOx, O3, PM10, PM2.5, RAINFALL, RH, SO2, THC, WD_HR, WIND_DIREC, WIND_SPEED, WS_HR。test.csv : 从剩下的资料当中取样出连续的 10 小时为一笔，前九小时的所有观测数据当作 feature，第十小时的 PM2.5 当作 answer。不同参数不同的学习率,设置不同的学习率,假设w 是权重系数里面的一个参数。
2023-12-04 14:27:08
224
原创 [PyTorch][chapter 3][李宏毅深度学习-偏差,方差,过拟合,欠拟合]
我们在train集上训练出来的模型和验证集上面得到Error 一般都是不一样的。这章的目的主要是通过诊断错误的来源,通过错误的来源去优化,挑选模型。模型在训练集的数据集上表现很好,但是在测试的时候。数据集上的数据量再训练一次，降低模型方差,使得其在测试集上有更好的表现.把数据集分为三份,通过不同的划分方式 依次训练出模型1,2,3。需要根据验证集上的表现综合考量,当选出最优模型可以，可以增加。蓝色空间：在训练得到的模型空间上，通过采样得到不同的分布。通过训练集上的数据训练出最优的映射函数。
2023-11-29 17:29:16
159
原创 [PyTorch][chapter 2][李宏毅深度学习-Regression]
torch.optim.SGD是PyTorch中实现的Stochastic Gradient Descent(SGD)优化器，用于更新神经网络中的参数，以最小化损失函数，从而提高模型的精度。- weight_decay：权重衰减（weight decay），也称权重衰减（weight regularization），用于防止过拟合。一些常见情况时，如上次梯度过大，导致进入局部最小点时，下一次更新能很容易借助上次的大梯度跳出局部最小点。- lr：学习率（learning rate），控制每次参数更新的步长。
2023-11-29 11:02:59
267
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人