- 博客(48)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 简单介绍pytorch中分布式训练DDP使用 (结合实例，快速入门)
pytorch中分布式训练DDP的介绍。包括DDP的原理，一些基础概念，和DP的区别，多卡的启动方式。最后根据voxceleb_trainer实例代码进行简单分析
2022-03-08 23:06:44
8314
13
原创 通俗理解交叉熵和KL散度(包括标签平滑的pytorch实现)
本文介绍了熵、信息量、交叉熵、KL散度，通俗易懂。并给出pytorch中torch.nn.CrossEntropyLoss，NLLLoss()，torch.nn.KLDivLoss的使用。利用pytorch实现了一个基于标签平滑的KL损失。
2022-02-24 22:24:54
2607
4
原创 常用激活函数(relu,glu,gelu,swish等)
常用激活函数总结，relu,glu,gelu,swish等，并且给出pytorch的调用接口，或pytorch的实现
2022-02-22 16:55:18
12505
原创 pytorch常用优化器总结(包括warmup介绍及代码实现)
常用优化器总结，SGD，RMSProp，Adam等，包括warmup介绍及代码实现
2022-02-21 15:58:44
5898
原创 隐马尔科夫模型HMM详解(2)——python实现
隐马尔科夫模型学习算法总结，请先阅读上一篇文章。附HMM的python实现代码，边读代码边学习，更清晰。感谢阅读！
2021-05-25 19:25:57
1266
2
原创 GMM\EM算法详解——附0-9孤立词识别demo(python实现)
GMM和EM算法详解，有基本的公式推导过程。附0-9孤立词识别（python），代码整体介绍：训练--对每一个GMM使用预料进行五次迭代训练；测试--对每条测试预料求每一个GMM模型下的似然，求argmax得到似然最大的模型最为输出结果，并和标签进行对比求正确率。
2021-05-23 20:52:38
2267
2
原创 Python修饰器的简单理解
对python修饰器的简单分析。并介绍了@abstractmethod、@property、@classmethod、@staticmethod
2020-11-05 13:29:39
1199
原创 Ubuntu服务器配置（管理员参考指南）
Ubuntu18.04服务器配置过程，安装内容：Ubuntu18.04、cuda10.1、cudnn。文末有恢复普通用户、重装cuda-driver的方法。
2020-09-23 22:38:20
2120
原创 warp-ctc源码安装
warp-ctc是可以在CPU和GPU上实现并行计算CTCLoss的开源库，现在支持pytroch和tensorflow的调用。安装过程和wrap-transducer相似，下面记录下过程和错误解决方法。本文是在ubuntu18.04的系统上进行的。warp-ctc下载地址源码编译warp-transducer首先获取warp-ctc的代码：git clone https://github.com/espnet/warp-ctc.gitcd warp-ctc创建一个build文件夹：mkd
2020-09-12 11:22:43
2269
9
原创 warp-transducer源码安装，warprnnt_pytorch生成
warp-transducer是可以在CPU和GPU上实现并行RNN-transducer的开源库，现在支持pytroch和tensorflow的调用，主要用来计算RNNTLoss，本文是在ubuntu18.04的系统上进行的。warp-transducer下载地址源码编译warp-transducer首先获取warp-transducer的代码：git clone https://gi...
2020-02-22 21:02:03
5033
2
转载 pytorch 自动求梯度
在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。概念将Tensor的属性.requires_grad设置为True，它将开始追踪在其上的所有操作，完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。如果y.backward()时...
2020-02-21 21:40:50
838
转载 pytorch 数据操作
数据操作pytorch中，torch.Tensor是存储和变换数据的重要工具，Tensor和Numpy的多维数组非常相似。但是，Tensor提供GPU计算和自动求梯度等更多功能。"tensor"这个单词一般可译作“张量”，张量可以看作是一个多维数组。标量可以看作是0维张量，向量可以看作1维张量，矩阵可以看作是二维张量。创建Tensor首先，导入pytorch：首先导入PyTorch：...
2020-02-21 21:13:55
1468
原创 线性回归
线性回归的基本内容以房价预测来解释线性回归的基本要素。模型定义设房屋的面积为 x1x_1x1，房龄为 x2x_2x2，售出价格为 yyy。我们需要建立基于输入 x1x_1x1 和 x2x_2x2 来计算输出 yyy 的表达式，也就是模型（model）。y^=x1w1+x2w2+b\hat{y} = x_1 w_1 + x_2 w_2 + by^=x1w1+x2w2+b...
2020-02-20 18:36:20
152
原创 RNN
不含隐藏状态的神经网络考虑一个含单隐藏层的多层感知机。给定样本数为nnn、输入个数（特征数或特征向量维度）为ddd的小批量数据样本X∈Rn×d\boldsymbol{X} \in \mathbb{R}^{n \times d}X∈Rn×d。设隐藏层的激活函数为ϕ\phiϕ，那么隐藏层的输出H∈Rn×h\boldsymbol{H} \in \mathbb{R}^{n \times h}H∈Rn×h...
2020-02-20 17:45:13
230
转载 CTC算法讲解
目录CTC是什么，有什么用？CTC基本原理CTC中的前向后向算法CTC预测CTC的性质CTC是什么，有什么用？CTC（Connectionist Temporal Classification），用来解决输入序列和输出序列难以一一对应的问题。在语音识别中，我们希望音频中的音素和翻译后的字符可以一一对应。但是对齐是一个很困难的事，有人说话快，有人说话慢，每个人说话快慢不同，手动对齐太耗时。在...
2020-01-12 18:21:11
1638
原创 LAS语音识别框架发展简述
LAS识别框架发展简述）LAS模型模型综述Listener部分attend-spelllearningdecoding and rescoringLAS模型的缺点即改进方法缺点改进方法相关论文进展LAS模型模型综述工作流程：将语音信号的特征输入到双向RNN中（encoder部分，即Listen）做attention，在不同的时刻关注输入的不同部分（decoder部分）解码Li...
2019-12-16 23:12:44
6280
3
原创 leetcode-26-27-80
leetcode 26 27 80题解leetcode 26解法代码leetcode 27解法代码leetcode 80解法代码这三道题的解法类似，学会其中一个，可以尝试独立解决另外两个。以下提供我的思路，并用C++和python实现。leetcode 26给定一个有序数组，使每个元素只出现一次，并返回新的长度，并在使用必须在原地修改输入数组，不要申请额外的空间解法采用两个标记点 i和...
2019-12-06 00:12:45
145
西工大航海学院水下多传感器课程作业
2019-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人