- 博客(97)
- 收藏
- 关注
RSS订阅原创 speechbrain 分词speechbrain.tokenizers.SentencePiece
这个分词主要针对的是英文，其中在speechbrain.tokenizers.SentencePiece文件中有一个open读取操作，其默认的是gbk，而自己保存的文件格式是utf-8，所以这个文件读取时会出现乱码情况，所以将所有open,添加 encoding="utf-8"而且需要注意，分词相关的文件，一定不能错，以前的错误文件会对自己造成干扰做个记录，方便以后查看...
2021-12-19 21:58:33
406
原创 语音识别概念相关链接
1.傅里叶分析---傅里叶级数与傅里叶变换2.能量信号与功率信号的区分3.时域卷积定理与频域卷积定理4.时域图、频谱图、语谱图5.注意力机制6.Seq2Seq模型概述7.transformer8.隐马尔可夫模型（Hidden Markov Model）9.集束搜索10.多任务学习11.CTC12....
2021-10-31 18:57:39
1185
原创 语音识别原理与应用 第三章 语音特征提取
第三章 语音特征提取原始语音是不定长的时序信号，不适合直接作为传统机器学习算法的输入，一般需要转换成特定的特征向量表示，这个过程称为语音特征提取。虽然随着深度学习的发展，原始信号也可以直接作为网络的输入，但是由于其在时域上具有较大的冗余度，会增加训练的难度，因此，特征提取仍是语音信号处理技术的关键环节之一。3.1预处理首先对原始语音时域信号进行预处理，主要包括预加重、分帧和加窗。（1）预加重 补偿语音信号高频部分的振幅。假设输入信号第 n 个采样点为 x[n] ，则公式如下：..
2021-10-26 11:17:32
5814
4
原创 语音识别原理与应用 第二章 语音信号基础
第二章 语音信号基础声波通过空气传播，被麦克风接收，再被转换成模拟的语音信号，这些信号经过采样，变成离散的时间信号，再进一步经过量化，被保存为数字信号，即波形文件。过程如下：本章根据以上过程，分别对声波的特性、声音的采集装置(即麦克风)、声音的采样和量化加以介绍，最后介绍语音文件的格式和分析。2.1 声波的特性声波在空气中是一种纵波，它的振动方向和传播方向是一致的。声音在空气中的振动形成压力波动，产生压强，在经过传感器接收转换，变成时变的电压信号。声波的特性主要包括频率和声强。频
2021-10-25 15:09:59
2726
原创 语音识别原理与应用 洪青阳 第一章 概论
第一章 语音识别概论语音识别的基础理论包括语音的产生和感知过程、语音信号基础知识、语音特征提取等。关键技术包括高斯混合模型（Gaussian Mixture Model，GMM）、隐马尔科夫模型（Hidden Markov Model，HMM）、深度神经网络（Deep Neural Network，DNN），以及基于这些模型形成的GMM-HMM、DNN-HMM 和 端到端（End-to-End，E2E）系统。语言模型 和 解码器 也非常关键，直接影响语音识别实际应用的效果。1.1 语音的产生和感
2021-10-24 10:46:20
3943
原创 Inception-ResNet-v1
上一篇Inception-v4中，已经实现了Inception-v4网络模型，参考此篇博客以及Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文。再来实现一下Inception-ResNet-v1网络模型，其实Inception-ResNet-v2网络模型与Inception-ResNet-v1相差很小，只是需要变动一下其中的参数，故不再实现v2。第一步，实现 InceptionResNe
2021-08-19 18:17:54
1442
原创 Inception-v4实现
最近在看Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文，便想动手实现一下Inceptiion-v4。下面的一些函数，分别对应论文中不同的模式图。详情请查看论文。第一步，导入库import numpy as npimport tensorflow as tffrom tensorflow import kerasimport pandas as pdimport mat
2021-08-19 16:03:26
502
1
原创 气温预测-多特征
紧接上一篇气温预测-单特征，我们再来实现一下利用多特征进行气温预测。为了避免麻烦，部分数据处理过程不再赘述，详情参考单特征一篇。一、预测将来某一个时间点的气温第一步，取出数据# 取出三个特征的数据features_considered = ['p (mbar)', 'T (degC)', 'rho (g/m**3)']features = df[features_considered]features.index = df['Date Time']features.head()
2021-08-18 11:54:02
624
原创 气温预测--单特征
一、了解数据集：气温数据，多种指标任务目标：预测未来某一时间点的气温/未来某一时间片段的气温数据集下载链接如下：jena_climate_2009_2016二、实战--单特征第一步，加载数据集df = pd.read_csv('./datasets/jena_climate_2009_2016.csv')df.head()此数据集的数据，是每个十分钟一条数据，每个数据有多个指标第二步，构建序列数据函数'''dataset表示输入的数据集，里面可以是一个或者多个列特
2021-08-18 11:10:27
896
原创 CNN-文本分类任务实战
一、了解CNN文本分类实战1：文本数据预处理，必须都是相同长度，相同向量维度2：构建卷积模型，注意卷积核大小的设计3：将卷积后的特征图池化为一个特征4：将多种特征拼接在一起，准备完成分类任务二、实战第一步，导入库import warningswarnings.filterwarnings('ignore')import numpy as npimport matplotlib.pyplot as pltimport tensorflow as tffrom t
2021-08-18 09:58:06
658
原创 人与马分类
第一步，导入库import osimport zipfileimport matplotlib.pyplot as pltimport matplotlib.image as mpimgimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras.preprocessing.image import ImageDataGenerator第二步，解压压缩包loc
2021-08-17 17:52:02
3788
原创 RNN-文本分类任务实战
目录一、了解二、实战--映射表三、实战--embedding词嵌入矩阵四、实战--构建训练数据五、实战--自定义网络模型六、实战--训练一、了解网络上关于RNN循环神经网络的讲解，已经够多了。讲的比较好的，当然是吴恩达-深度学习-RNN了。吴师讲解了许多种的RNN模型，并且给出了RNN适用的领域，并且有相关的博客吴恩达-RNN记录。在这篇博客中，依然关注RNN实战。将对影评数据集进行情感分析，看看是否是正面的，即二分类问题。有下面三点需注意：· 数据集构建
2021-08-17 17:27:25
2028
原创 用fashion_mnist数据集训练常规网络模型，并保存训练的模型
一、常规模型训练第一步，加载数据集并创建输出对应的种类名class_namedata = keras.datasets.fashion_mnist(train_images,train_labels),(test_images,test_labels) = data.load_data()class_name = ['T-shirt/top','Trouser','Pullover', 'Dress','Coat','Sandal','Shirt',
2021-08-17 11:24:30
298
原创 用tf.data模块常用函数实现模型的训练
一、tf.data模块常用函数1，用 from_tensor_slices 创建Tensor 数据集input_data = np.arange(16)dataset = tf.data.Dataset.from_tensor_slices(input_data)for data in dataset: print(data)'''部分运行结果如下：tf.Tensor(0, shape=(), dtype=int32)tf.Tensor(1, shape=(), dtype=i
2021-08-17 10:52:41
323
原创 Resnet实现，用通用函数实现全部的resnet类型，如resnet18，resnet34，resnet50等等
一、准备网上对于何凯明等大佬写的Residual论文的解读已经够多了，经过一段时间的学习，我想摸索出一套适合所有resnet类型的通用函数，以便实验，故而在这篇博客中，我重点讲如何实现通用函数。重点1：在上面图中，我们需要注意 F(x) + x 是在激活函数relu之前进行的，知道这一点是为了实现卷积函数conv2D_BN时，先不进行激活。重点2：我们通过观察可知 只有在每种残差快的第一个块，其shortcut连接才需要 1x1 卷积，其相应的连接也是虚线，比如3处，但是有一..
2021-08-17 09:52:19
1854
原创 人工创造数据
如果我们的模型是低方差的，那么获得更多的数据用于训练模型，是能够有更好的效果的。问题在于，我们怎样获得数据，数据不总是可以直接获得的，我们有可能需要人工地创 造一些数据。 以我们的文字识别应用为例，我们可以字体网站下载各种字体，然后利用这些不同的字体配上各种不同的随机背景图片创造出一些用于训练的实例，这让我们能够获得一个无限大的训练集。这是从零开始创造实例。 另一种方法是，利用已有的数据，然后对其进行修改，例如将已有的字符图片进行一些扭曲、旋转、模糊处理。只要我们认为实际数据有可能和经过这样
2021-07-01 20:18:01
160
原创 任务流程图，上限分析
一、任务流程图任务流程图在我们的机器学习中是十分重要的，它可以帮助我们理顺思路，并且辅助分析。下面我们以图像文字识别的例子来说明。给定一张图片，如下所示：为了识别出图片中的文字，需要采取如下的步骤：1.文字侦测（Text detection）-----将图片上的文字与其他环境对象分离开2.字符切分（Character segmentation）-----将文字分割成一个个单一的字符3.字符分类（Character classification）-----确定每一个字符是什么
2021-07-01 19:08:33
454
1
原创 大规模机器学习，梯度下降，在线学习，映射简化
一、m的选择大规模机器学习，顾名思义，就是数据集特别大，一般 m 为亿级别，假设 m = 10亿，我们以线性回归为例，每一次梯度下降，我们都需要计算训练集的误差平方和，如下：如果我们的学习算法需要20次迭代，显然计算代价十分的大。我们先简单地考虑一下，能不能只用数据集的一小部分来训练学习算法，比如 m =1000，或许就能获得不错的效果。我们用学习曲线观察来判断是否可以选择小点的 m，如下：左边是高方差，可以增大数据集来降低代价。右边是高偏差，可以增加数据集的特征数量来降低代价。
2021-07-01 17:38:53
291
原创 推荐系统，协同过滤算法
推荐系统，顾名思义，就是推荐东西。无论是视频网站，比如爱奇艺、腾讯视频，还是销售网站，比如淘宝、京东，都需要向用户推荐视频或者商品，而如何向用户推荐所喜欢的视频或者商品，这就需要建立一个良好的推荐系统。没有好的推荐系统，那么这个网站很难在现在的互联网大环境下生存下去。一、推荐系统下面从一个例子开始定义推荐系统的问题。假使我们是一个电影供应商，我们有5部电影和4个用户，我们要求用户为电影打分，如下：前三部是爱情片，后三部则是动作片。我们可以看出Alice和Bob似乎更倾向于爱情片，而C
2021-06-30 11:33:02
385
原创 多元高斯分布与AD
前面已经提到了高斯分布与在异常检测中的运用。现在再来谈谈多元高斯分布。一、为什么用到了多元高斯分布？假设我们有两个相关的特征，而且这两个特征的值域范围比较宽，这种情况下，一般的高斯分布模型可能不能很好的识别异常数据。其原因在于，一般的高斯分布模型尝试的是去同时抓住两个特征的偏差（从p(x) = p(x1) * p(x2) 就可以看出），因此创造出一个比较大的判定边界。下图中是两个相关特征，洋红色的线（根据 ε 的不同其范围可大可小， ε 越小，包含的范围越大）是一般的的高斯分布模型获得的判定边界
2021-06-30 09:31:38
110
原创 异常检测AD，高斯分布的运用
异常检测（Anomaly Detection），以下简称AD，是机器学习算法的一个常见应用。它虽然主要用于非监督学习问题，但从某些角度看，它又类似于一些监督学习问题。一、什么是AD？为了解释AD，下面举一个例子。假设生产出飞机引擎，需要进行QA（Quality Assurance质量保证，关注的是对质量的检测，通过改进细节提高质量），我们测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等。而我们生产了m个引擎，那么就有了一个数据集。如下图所示：将这些数据绘制成图标
2021-06-29 17:58:26
1481
原创 PCA算法
前面已经提到了PCA初理解，现在继续阐述PCA算法。一、求解新特征向量PCA将数据从 n 维降至 k 维，需要分几步走：第一步，均值归一化。计算出所有特征的均值，然后令。如果特征是在不同的数量级上，我们还需要将其除以标准差 σ² 。第二步，计算协方差矩阵（covariance matrix）Σ：第三步，计算协方差矩阵Σ的特征向量（eigenvedctors）：在 Octave 里我们可以利用奇异值分解（singular value decomposition）来求解，函数如下：[
2021-06-28 20:49:13
2933
原创 P - 最少拦截系统
某国为了防御敌国的导弹袭击,发展出一种导弹拦截系统.但是这种导弹拦截系统有一个缺陷:虽然它的第一发炮弹能够到达任意的高度,但是以后每一发炮弹都不能超过前一发的高度.某天,雷达捕捉到敌国的导弹来袭.由于该系统还在试用阶段,所以只有一套系统,因此有可能不能拦截所有的导弹.怎么办呢?多搞几套系统呗!你说说倒蛮容易,成本呢?成本是个大问题啊.所以俺就到这里来求救了,请帮助计算一下最少需要多少套拦截系统...
2021-06-28 17:42:27
55
原创 贪心定义的理解
贪心算法是在对问题求解时，总是做出在当前看来是最好的选择。选择贪心策略，必须具备两点 1. 保证局部最优 2. 无后效性解题的一般步骤是： 1. 建立数学模型来描述问题 2.把求解的问题分成若干个子问题 3.对每一个子问题的求解，得到子问题的局部最优解 4.把子问题的局部最优解合成原来问题的一个解。...
2021-06-28 17:41:51
115
原创 出国--概率dp
题目大意：Speakless很早就想出国，现在他已经考完了所有需要的考试，准备了所有要准备的材料，于是，便需要去申请学校了。要申请国外的任何大学，你都要交纳一定的申请费用，这可是很惊人的。Speakless没有多少钱，总共只攒了n万美元。他将在m个学校中选择若干的（当然要在他的经济承受范围内）。每个学校都有不同的申请费用a（万美元），并且Speakless估计了他得到这个学校offer的可能性b...
2021-06-28 17:40:57
107
原创 P1091 合唱队形--dp
题目描述NN位同学站成一排，音乐老师要请其中的(N-KN−K)位同学出列，使得剩下的KK位同学排成合唱队形。合唱队形是指这样的一种队形：设K位同学从左到右依次编号为1,2,…,K1,2,…,K，他们的身高分别为T_1,T_2,…,T_KT1,T2,…,TK， 则他们的身高满足T_1<...<T_i>T_{i+1}>…>T_K(1 \le i \le K)...
2021-06-28 17:40:28
82
原创 最短路--五种表示方法
至于什么是最短路，就不再赘述了，直接上算法1.Bellman-Ford 101112131415161718192021222324252627282930 /*Bellman-Ford算法： 1.单源最短路 2.不存在负圈，更新操作有限 3.如果存在从s可达的负圈，那么在第n次循环中也会 更新d的值 *...
2021-06-28 17:39:58
212
原创 第一章 计算机网络概论
1. ARPAnet： 现代意义上的计算机网络是以此开始的。 主要特点： 资源共享，分散控制，分组交换，采用专门的通信控制处理机，分层的网络协议2. OSI / RM： 开放系统互连参考模型，由国际标准组织 ISO 制定，规定了可以互连的计算机系统之间的通信协议。3. 计算机网络的组成元素可以分为两大类：网络节点和通信链路 网络节点可...
2021-06-28 17:39:10
214
原创 插入排序的九种算法
1.直接插入排序直接插入排序是插入排序算法中的一种，采用的方法是：在添加新的记录时，使用顺序查找的方式找到其要插入的位置，然后将新记录插入。 1 2 3 4 5 6 7 8 910111213141516171819202122232425262728293031323334353637383940...
2021-06-28 17:38:26
393
原创 降维，PCA--初理解
一、什么是降维有一个数据集有很多很多特征，在这里绘制两个特征：x1为长度，cm为单位；x2也为长度,尺寸为单位。很明显，两个特征高度线性相关，两个都作为特征明显是多余的，而且由于测量时的误差和精度等问题，两则又是不一样的，所以很难舍弃一个特征而用另一个。为此需要将这两个特征变为一个特征，即将二维数据将至一维。如下图所示：既然是高度线性相关，那么就可以绘制出一条直线，将每一个样本点投射到直线上，对应直线上的位置便是一维特征值 z 。注意，是投影，即样本点向直线做垂线，垂点就是 z 。这就.
2021-06-28 17:34:02
3124
原创 非监督学习--k-means
一、非监督学习与聚类算法与监督学习不同，在非监督学习中，我们的数据没有附带任何标签，我们拿到的数据就是这样的：从图中可以看出，样本点都是一样的，没有附带任何标签y。在非监督学习中，我们需要将一系列无标签的训练数据，输入到一个算法中，找出数据集中的内在结构。在上图中，数据可以分成两个点集（称为簇），一个能够区分这两个点集的算法，就被称为聚类算法。聚类算法是非监督学习算法中的一种。聚类算法的用途广泛，如下图所示：二、K-means（K-均值）算法--初理解k-均值是最普及的聚..
2021-06-27 19:23:46
569
1
原创 使用支持向量机
在实际运用中，很少有人动手实现解决SVM最优化的问题，因为已经有研究者做了很多年的数值优化了，我们再动手实现得不偿失。有很多好用的SVM软件包，比如libnear和libsvm。有了SVM软件包，我们不再过多关心目标函数最优化的问题，只需要重点考虑核函数的选择。除了以前经常用到的高斯核函数之外，我们还有其他一些选择，如：多项式核函数（Polynomial Kernel）字符串核函数（String kernel）卡方核函数（chi-square kernel）直方图交集核函数（hist
2021-06-27 11:31:29
158
原创 核函数（2）
我们紧接上一节核函数（1），在本节中讨论一些细节。上一节中，用到了地标L，那么如何选择地标呢？通常是根据训练集的数量选择地标的数量，即若训练集中有m个实例，则我们选取m个地标，并且令：。这样做的好处在于：现在我们得到的新特征是建立在原有特征与训练集中所有其他特征之间距离的基础之上，即：于是，我们就可以将核函数运用到SVM中，修改我们的SVM假设为：给定x，计算新特征 f ，当时，预测 y=1，否则反之。相应的修改代价函数为：在具体实施过程中，我们还需对最后的正则化项.
2021-06-27 10:27:08
180
原创 核函数（1）
上图中，很明显，无法用直线作为决策边界，需要用到高次的多项式模型。比如在这里，我们用一系列新的特征 f 来替换模型中的每一项。例如令：f1=x1,f2=x2,f3=x1x2,f4=x1²...从而得到。这是对原有的特征进行组合，我们可以利用核函数来计算新的特征。给定一个训练实例，我们利用 x 的各个特征与我们事先选定的地标（landmarks）的近似程度来选取新的特征f1,f2,f3。为了表示方便，这里假定有两个特征x1,x2。如下图所示：例如，f1的计算公式为：，其中：，为...
2021-06-27 09:36:43
182
原创 SVM背后的数学
了解一些SVM背后的数学原理，可以对SVM的优化问题，以及如何得到大间距分类器，产生更好的理解。看下图：其实背后的数学原理十分简单，无非就是向量的模 || u ||（也称范数，长度，欧几里得长度）,公式为，向量的内积，即，v向量投影在u向量上的长度p,即 || v || * cosθ ，θ为两向量之间的夹角，可以看出p是有正负的。由此我们得到了我们熟悉的公式，最终得到。我们先回顾SVM的目标函数，如下：为了便于理解，对式子做一些修改。如下：为了方便，忽略截距，即令，这样更...
2021-06-26 18:48:00
321
1
原创 SVM，大间距分类器？
我们先来看看SVM模型的目标函数从坐标曲线可以看出，当y=1时，我们希望，而不仅仅是>=0,这样一来cost1降到了最低，为0。同样，当y=0时，我们希望，而不仅仅是<0，这样一来cost2降到了最低，为0。这说明了支持向量机的要求更高，这就相当于在SVM中嵌入了一个额外的安全因子，或者说安全的间距因子。接下来，我们看看这个间距因子会有什么样的影响。如果C非常大，则最小化代价函数的时候，我们希望找到一个使得第一项A为0的 最优解。也就是说我们想，当训练样本标签为y..
2021-06-26 17:35:00
243
原创 支持向量机SVM---初理解
与逻辑回归和神经网络相比，支持向量机（Support Vector Machine，简称SVM），在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。SVM属于监督学习算法。本文将从逻辑回归开始展示如何一点一点修改来得到本质上的支持向量机SVM。逻辑回归的假设函数如下图所示：逻辑回归的代价函数如下图所示：很明显，在上图中的代价函数，只是一个样本的代价函数，而我们想要观察，当 y =1时，左边式子大小的变化情况，当 y=0时，右边式子大小的变化情况。从图中可以看出，当 ..
2021-06-26 16:25:13
559
4
原创 量化数值评估，查准率和召回率
我们想知道通过采取一个方法，是否使得误差变小。如果有一个量化的数值评估，通过这个数字的大小，我们可以得到误差变大了还是变小了。在这里，推荐大家在交叉验证集上实现误差分析，而不是在测试集上。那么怎么选择一个量化数值评估，也就是合适的误差度量值。例如我们希望用算法来预测癌症是否是恶性的，在我们的训练集中，只有0.5%的实例是恶性肿瘤。假设我们编写一个非学习而来的算法，在所有情况下都预测肿瘤是良性的，那么误差只有0.5%。然而我们通过训练而得到的神经网络算法却有1%的误差。这时，误差的大小是不能视为评判算
2021-06-25 19:16:49
941
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人