nwnlp-CSDN博客

原创简单算法复杂说-Kmeans

前言先看一个简单的例子有四个牧师去郊区布道，一开始牧师们随意选了几个布道点，并且把这几个布道点的情况公告给了郊区所有的居民，于是每个居民到离自己家最近的布道点去听课。听课之后，大家觉得距离太远了，于是每个牧师统计了一下自己的课上所有的居民的地址，搬到了所有地址的中心地带，并且在海报上更新了自己的布道点的位置。牧师每一次移动不可能离所有人都更近，有的人发现A牧师移动以后自己还不如去...

2019-04-01 10:55:51 1702

插入排序回想下我们在打扑克时如何对扑克进行排序的，通常我们会从左往右看，每次只考虑一张牌，把它插入合适的位置。举个例子：4，2，5，1，3利用上面扑克牌排序的方法进行排序。4：4 就一个数字，认定为有序了。2：2比4小，把2插入到4前面，变成了2，45：5会和它之前的4比较下，发现5比4大，无需动了，所以就是2，4，51：1和它之前的5比较，1小于5，再和4比较，1比4小，再和2比较，1比2小，到...

2018-04-19 19:53:29 262

原创深度神经网络调参之激活函数

神经网络本质上是利用线性变换加激活函数达到非线性变换的效果，从而将原始的输入空间特征投向稀疏可分的空间。最后去做分类或者回归。正是因为有激活函数，才使得神经网络有能力去模拟出任意一个函数。本文简单介绍下常见的激活函数，以及它们各自的优缺点。sigmoid 上图是sigmoid函数的图像，表达式为σ(x)=1/(1+e−x)σ(x)=1/(1+e−x)\sigma(x) = 1 /...

2018-04-11 18:21:13 977

原创最大熵模型python实现

本文参考nltk MaxentClassifier实现了一个简单的最大熵模型，主要用于理解最大熵模型中一些数学公式的实际含义。最大熵模型：Pw(y|x)Zw(x)=1Zw(x)exp(∑i=1nwifi(x,y))=∑yexp(∑i=1nwifi(x,y))\begin{aligned} P_w(y|x) &= \frac{1}{Z_w(x) }exp \left ( \sum_{i=1}^n

2018-04-02 19:37:45 2192 1

原创对话系统语料

机器学习尤其是深度学习在训练的时候需要大量的预料，下面介绍一个可以扩展预料的方法。举个例子，对机器说一句：我想听有声读物。这样类似的说法有很对，如：播放有声读物，帮我打开一下有声读物，请打开下有声读物。。。。[我想|帮我|请](播[放]|打开)[一下|下]{app_name.有声读物|抖音}我们用这样一个模块可以展开成下面72个意思相近的句子：我想播一下[有声读物].(app_name)我想播一下...

2018-03-29 22:32:01 2502

原创感知机

一个简单的分类问题感知机(perceptron)是机器学习中最简单最基础的模型。同时它也是构成神经网络的基础，先来看一个数学问题，下图是一个二维平面图，上面分散了蓝色和红色两种颜色的点。现在用一条直线把这两种颜色的点分开，就像下图一样我们稍微逆时针旋转一下分割线可以发现它仍然能够分割两种颜色的点。因此，这样的分割线不止一条，实际上存在无数条。我们人眼很容易用尺子对着平面图画出这样的一

2018-03-23 20:41:26 399 2

原创 RNN(循环神经网络)详解

Why RNN通常我们在用CNN或者其他分类器做图像识别的时候是把每张图片作为一个独立的事物来对待的，也就是图片与图片是没有任何关联的，这也是正确的。然而，我们在做词性标注的时候，例如：我爱你。“爱“这个词可以是动词，或者名词。如果我们把“爱“这个词独立出来对它来分类的话，那就是50%的概率是动词，50%的概率是名词。显然，这样的做法是不对的，我们人在对“爱“做词性标注的时候，大脑潜意识地...

2018-03-16 14:06:38 3079

原创简单语音识别实现

本文主要介绍如何实现一个简单的语音识别系统，识别的是英文0-9十个英文单词首先介绍下实现的思路： 1.对语音wav文件进行mfcc特征提取(这一步由librosa完成，细节可以不care) 2.对得到的数据进行归一化 3.使用CNN神经网络对归一化的数据进行分类源代码cnn-asr特征提取实现代码def read_files(files): labels ...

2018-03-08 10:15:31 12845 10

原创深度神经网络调参之损失函数

TED有这样一个演讲How to learn from mistakes,演讲者主要分享了一些学习的体会，其中最主要的就是如何从自己犯过的错误中学习。我们自己学习工作中应该很有体会，踩过的坑下次就知道了。相反如果学习过程中一点错误都没用，那就需要担心自己的学习效率了。好了，这里不是鸡汤文，还是谈谈正题吧。梯度消失我们同样希望自己搭建出来的神经网络能够从它的错误中学得最快，当然它们的...

2018-03-06 15:34:35 2208

原创深度神经网络调参之权值初始化

在玩dota类游戏的时候，局势情况不好的情况下，新手的第一反应就是队友傻逼，然后想着就投降。老玩家呢往往先看看是不是自身问题。不仅游戏，很对地方都是如此，新人在使用神经网络的时候，在发现最终的结果不好的情况下，想着就是模型算法本身的问题，然后换成其他的模型算法，这样往往结果并没有改善。老手们往往会检查许多方面，看看数据本身是否有异常，网络结构编写是否有问题，是否出现了过拟合现象等等。本文主要谈...

2018-02-28 21:16:11 1446

原创 CNN(卷积神经网络)详解

Why CNN首先回答这样一个问题，为什么我们要学CNN，或者说CNN为什么在很多领域收获成功？还是先拿MNIST来当例子说。MNIST数据结构不清楚的话自行百度。。我自己实验用两个hidden layer的DNN(全连接深度神经网络)在MNIST上也能取得不错的成绩(98.29%)。下面是一个三个hidden layer的网络结构图盗图1全连接深度神经网络，顾名思义，每个神经...

2018-02-26 20:23:22 323558 39

nwnlp的博客