- 博客(7)
- 收藏
- 关注
RSS订阅原创 Keras学习笔记03——常用重要模块
一、目标函数objectives编译模型必选两个参数之一可以通过传递预定义目标函数名字指定目标函数，也可以传递一个Theano/TensroFlow的符号函数作为目标函数，该函数对每个数据点应该只返回一个标量值，并以下列两个参数为参数：y_true：真实的数据标签，Theano/TensorFlow张量y_pred：预测值，与y_true相同shape的Theano/TensorFlow张量真
2016-09-28 10:53:06
19893
原创 Keras学习笔记02——常用的网络层
在搭建神经网络结构时，我们要向网络中添加一些网络层，下面列举出来常用的网络层及其相关用法。一、常用层常用层对应于core模块，core内部定义了一系列常用的网络层，包括全连接、激活层等。1.Dense层Dense层：全连接层。keras.layers.core.Dense(output_dim, init='glorot_uniform', activation='
2016-09-27 10:29:39
12230
原创 Keras学习笔记01——快速搭建神经网络结构
在Keras1.0版中新增加了functional model API（泛型模型），接收一个或一些张量作为输入，然后输出的也是一个或一些张量，同时仍然支持Sequential模型。 Sequential模型：一种特殊的模型，单输入单输出，一条路通到底，层与层之间只有相邻关系，没有跨层连接。这种模型编译速度快，操作上也比较简单。搭建神经网络流程1.模型结构model = Sequential()
2016-09-27 10:17:23
4674
翻译 Deep Learning 学习系列004 —— 结构设计
神经网络的结构：神经网络有多少个神经单元和这些神经单元之间怎么连接。在链状结构中，上述问题变为选择神经网络的深度和每层的宽度。统一逼近理论：具有一个线性输出单元，至少一个隐藏层和一个挤压激活函数的前向神经网络可以逼近任意Borel可测函数。统一逼近理论表明，一个MLP（多层感知器）可以逼近表示任意函数。但是我们不能保证学习算法可以学到这个函数，学习失败的原因有二： 1. 最优化算法不能得到理想函数
2016-09-07 10:39:43
369
翻译 Deep Learning 学习系列003 —— 隐藏单元
如何选择隐藏单元的类型？隐藏单元接受一个输入xx，先进行仿射变换z=WTx+bz=W^Tx+b，然后对zz的每个元素应用激活函数g(z)g(z)。大多数隐藏单元之间的不同主要在于激活函数的选择。1. ReLU及其泛化ReLU激活函数：g(z)=max{0,z}g(z)=max\{0,z\}缺点：对于激活函数为0的样例不能通过基于梯度的方法学习。所以对ReLU进行泛化：hi=g(z,α)i=max{0
2016-09-07 09:28:56
1003
翻译 Deep Learning 学习系列002 —— 基于梯度的学习
由于神经网络的非线性导致其代价函数大多数情况下都是非凸的，所以使用基于梯度的迭代算法不能保证代价函数达到最小值。凸优化从任何初始值都会保证收敛（理论上，实践中可能会遇到数值问题）。在非凸代价函数上使用随机梯度下降不能保证收敛，同时对初始值比较敏感。应用基于梯度的学习，我们必须选择： 1. 代价函数 2. 怎么表示模型的输出1 代价函数大多数情况下，参数模型定义了一个分布pmodel(y|x;θ)
2016-09-06 20:13:11
1062
翻译 Deep Learning 学习系列001 —— 神经网络基本概念
前向神经网络的目标估计某个函数f几个基本概念 - 模型的深度 - 输出层 - 隐藏层 - 模型的宽度现代神经网络的研究基于数学和工程上的准则，不再一味地模仿人的大脑。所以我们可以将前向神经网络看成函数逼近器，用来实现统计泛化。线性模型将模型能力限制在线性函数中，为了将其进行扩展，可以使用Φ(x)将x进行非线性变换，然后对Φ(x)使用线性模型。 关于Φ(x)的选择： 1. 使用通用
2016-09-06 20:01:58
516
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人