AIHost-CSDN博客

原创神经网络正则化

1、神经网络的过拟合2、正则化3、正则化干了什么1、神经网络过拟合。　　过拟合是什么？这个问题之前，假定你已经了解神经网络的分类与回归这些概念，以及能用基本的网络来实现分类。我们来看一个例子，比如小明和小王在同一个班学习加法，老师告诉他们1+1=2，1+2=3，这样教他们，老师教一种方法，叫做用数手指头的方法来计算加法。这样小明和小王都学会了加法，小明和小王不一样的是，小王是通过数手指头来计算...

2018-04-14 17:22:50 778

转载 LSTM RNN

LSTM是神经网络一个相当简单的延伸扩展，而且在过去几年里取得了很多惊人成就。我第一次了解到LSTM时，简直有点目瞪口呆。不知道你能不能从下图中发现LSTM之美。OK，咱们这就开始切入正题。先简单介绍一下神经网络和LSTM。神经网络假设我们有一个来自电影的图像序列，然后想用一个活动来标记每张图像。例如这是一场打斗么？角色在交谈？角色在吃东西？应该怎么做？一种方法是忽略图像的顺序属性，把每张图片单独...

2018-04-14 16:24:32 391

翻译随机梯度下降、动量、RmsProp、AdamDelta、Adam方法优化

一文看懂各种神经网络优化算法：从梯度下降到Adam方法编译自 Medium在调整模型更新权重和偏差参数的方式时，你是否考虑过哪种优化算法能使模型产生更好且更快的效果？应该用梯度下降，随机梯度下降，还是Adam方法？这篇文章介绍了不同优化算法之间的主要区别，以及如何选择最佳的优化方法。什么是优化算法？优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。模型内部有些参数，是用来...

2018-04-10 13:56:49 12559

转载 word2vec讲解

word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上增加了这个工具包的神秘感。一些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟，出于好奇，我也成为了他们中的一员。...

2018-04-05 17:51:03 186

转载 Sigmod函数、Huffman树、Bayes 知识

2018-04-05 17:47:11 176

原创神经网络-BP算法

１、前置知识阅读这篇文章时，假定你了解以下知识：1、神经网络输入输出的计算2、损失函数3、导数　　我觉得在这之前，你必须要把上面三个概念弄清楚，因为接下来的内容是以上面三个知识为基础的讲解，所以我们还是来复习一下上面三个知识点，如果你有不清楚的，可以看我另一篇文章或是其它博文。　　神经网络不说了，如果你不清楚定义，可以点上面的链接看我的另一篇博文，当然你可以查资料，但是在读这篇博文的同时请你务必要...

2018-03-24 17:57:41 779

原创神经网络入门

1、什么是神经网络，它是如何计算的。　　首先来看神经网络长什么样子：神经网络　　图中表示的是一个输入层是4，中间层为3，输出层2的神经网络，每个圈表示一个神经元，比如,,等都是神经元。上图是一个的神经网络。实际网络可以有任意的输入，任意的中间层，任意的输出数量。比如可以是：这样任意的层数。图中每一条连接的线叫做权重，比如这条线。　　了解了这些以后，我们来看一下神经网络的计算　　神经网络是从输入层计...

2018-03-22 20:59:21 1457