- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 理解深度学习中Batch Normalization
首先来看下LRN 下面是借鉴知乎某位大神的讲解 什么是 Local Response Normalization（LRN） 我们都知道，Normalization是深度神经网络中一项最常用也是最终要的技术之一。早在Alexnet时代，Normalization便已经被应用到了视觉分类任务中，也就是本节所要介绍的LRN。虽然后来的BN的出现，逐渐替代了LRN，但是在这里也简单地介绍以下。说到为什么要使用LRN就不得不提到神经生物学中的一个概念叫做 lateral inhibition（横向抑制），简
2020-07-13 14:27:11
240
原创 梯度消失
梯度消失的原因？ 在训练神经网络时，为了让损失函数越来越小，常用优化的方法是梯度下降。梯度下降法简单的来说就是在权重的负梯度方向更新权重，一直到梯度收敛为零。（实际过程中，会通过设定一个超参数叫做最大跌代数来控制，如果迭代次数太小，结果就会不准确，如果迭代次数太大，那么训练过程会非常长。） 这里就需要计算参数的梯度，方法是用反向传播 同时一般情况下神经网络在权重初始化时，会按照高斯分布，平均值为0标准差为1这样进行初始化，所以权重矩阵也是小于1的。 由上面的例子可以看出，对第一层..
2020-07-02 17:10:05
116
转载 深度学习-激活函数
什么是激活函数？ 激活函数是人工神经网络的一个极其重要的特征。它决定一个神经元是否应该被激活，激活代表神经元接收的信息与给定的信息有关。 可以不用激活函数吗？答案是否定的 如果激活函数增加了许多复杂性，我们可以不用激活函数吗？ 当然不行！当我们不用激活函数时，权重和偏差只会进行线性变换。线性方程很简单，但解决复杂问题的能力有限。没有激活函数的神经网络实质上只是一个线性回归模型。激活函数对输入进行非线性变换，使其能够学习和执行更复杂的任务。我们希望我们的神经网络能够处理复杂任务，如语言翻译和.
2020-07-02 16:19:10
484
原创 深度学习总结
------------20200623------------- 第一次写博客，为了记录一下内容 以免忘记，大部分内容都是借鉴别人的 1、理论基础 1.1深度学习 1、视觉的任务如何分类？ 视觉的任务一般分为图像处理（像素级别） 图像特征（目标级别） 图像理解（语义理解，语义描述等） 图像处理：传统的图像处理 ...
2020-07-02 14:33:12
231
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人