yym1660028的博客

从DNN的反向传播中可以看到，需要求出权重和偏置的梯度，需要先通过反向传播，从某一层 中，推导出前一层

传统的目标检测任务主要通过人工提取特征模型建立，常用的特征包括：HOG、SIFT、Haar等，特征提取模型之后进行支持向量机或者Adaboost的分类任务，进而得到我们所关注的目标结果。由于特征模型的局限性，我们引入卷积特征，也就是经过卷积神经网络得到的特征信息，包括浅层信息和深层信息，浅层信息指的是：前级的卷积层得到的特征图，感受野更加关注的是图像细节纹理等特征。深层信息包括：后级的卷积层卷积得到的特征图信息，在语义语境方面更加抽象的高层信息。人工神经网络是根据大脑神经突触联接的结构进行信息处理的数学模型，视觉模拟系统通过稀疏编码的方式组合成为合理并且高效的图像处理系统。

1. 神经网络：从传统到现代 2. 深度学习应用特点 3. 深度学习发展方向 4. 深度学习流行框架比较 (Caffe/Caffe2, MXNet, Theano, Keras, TensorFlow, Torch/PyTorch)：用TensorFlow进行课程实例学习与工程部署（对有兴趣与科研需要的学员，额外讲解用PyTorch进行快速原型开发）

（1）第一阶段（Region Proposals阶段）：对一帧图像采用Selective Search算法得到最有可能是目标的2000个左右的Region Proposals（候选区域），改善了传统滑窗的思想（复杂度在10万-100万个候选区域），Selective Search算法采用合并超像素生成proposals（具体的详细的介绍参考第一篇论文《What makes for effective detection proposals?》）这是第一阶段，改善传统滑窗的笨方法，使得算法复杂度降低。 （2）第二阶段（特征提取）：对于图像深层信息的理解，采用卷积神经网络抽取图像目标中卷积特征，这里需要主要的是：R-CNN会将上一阶段的2000张Region Proposals首先进行大小尺寸的归一化处理为227*227（像素大小），对每一个Region Proposals都要进行复杂的卷积计算（2000次同样的复杂卷积计算？对，没错，有一些细节差别很小的Region Proposals也要重新进行卷积计算，再强的GPU也HOLD不住这样折腾啊）。随后卷积层计算完成特征抽取完成之后，将全连接层的输出直接作为Region Proposals的特征信息，至此第二阶段完成。 （3）第三阶段（分类）：这里跟传统的方法有似曾相识的感觉，根据特征（传统的方法利用人工特征模型，这里采用卷积神经网络全连接层输出作为卷积特征），利用支持向量机（这里我也做过一定的总结，有兴趣的可以作为参考）的方法将数据进行最大间隔可能的划分，使得分类效果达到预期效果

传统的目标检测任务主要通过人工提取特征模型建立，常用的特征包括：HOG、SIFT、Haar等，特征提取模型之后进行支持向量机或者Adaboost的分类任务，进而得到我们所关注的目标结果。由于特征模型的局限性，我们引入卷积特征，也就是经过卷积神经网络得到的特征信息，包括浅层信息和深层信息，浅层信息指的是：前级的卷积层得到的特征图，感受野更加关注的是图像细节纹理等特征。深层信息包括：后级的卷积层卷积得到的特征图信息，在语义语境方面更加抽象的高层信息。人工神经网络是根据大脑神经突触联接的结构进行信息处理的数学模型，视觉模拟系统通过稀疏编码的方式组合成为合理并且高效的图像处理系统

使用前馈卷积神经网络（convnets）来解决计算机视觉问题，是深度学习最广为人知的成果，但少数公众的注意力已经投入到使用递归神经网络来对时间关系进行建模。而根据深度学习三大牛的阐述，LSTM网络已被证明比传统的RNNs更加有效。本文由加州大学圣迭戈分校（UCSD）研究机器学习理论和应用的博士生Zachary Chase Lipton撰写，用浅显的语言解释了卷积网络的基本知识，并介绍长短期记忆（LSTM）模型。

循环神经网络，Recurrent Neural Network。神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。

取目标函数 ，其中 ，用 去代表 和 以强调它可能是任意的函数。在求解目标函数最小值的过程中理论上可以采用两种方法进行计算：一种解决方法就是用数值计算的方法去计算出它的最小值，但是这种方法需要求偏导数，然而在参数量巨大的神经网络中这是很难完成的一件事情；另一种方法是采用梯度下降的方法，计算较为简便。   在介绍梯度下降法的时候，首先忽略神经网络的结构，假设其为具有很多变量的函数，而我们的目的就是求解出这样的函数的最小值。当对自变量做较小的改变的时候

循环神经网络以及它的训练算法。我们也介绍了循环神经网络很难训练的原因，这导致了它在实际应用中，很难处理长距离的依赖。在本文中，我们将介绍一种改进之后的循环神经网络：长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。但不幸的一面是，LSTM的结构很复杂，因此，我们需要花上一些力气，才能把LSTM以及它的训练算法弄明白。在搞清楚LSTM之后，我们再介绍一种LSTM的变体：GRU (Gated Recurrent Unit)。 它的结构比LSTM简单，而效果却和LSTM一样好，因此，它正在逐渐流行起来。最后，我们仍然会动手实现一个LSTM

我们输入一个图像，拉伸后成为1维，为了方便，简单为4*1的向量，得分向量为3个分类，3*1,于是我们的W就要是一个3*4的矩阵，线性分类器嘛，有偏置项b(wile增加灵活性)，最后我们得到y=W*x+b的线性函数（得分函数,y就是得分向量）。 上面的W在dog类别中得分最高，这显然不是我们想要的，我们想要的是在正确的类别上有较高的得分，在错误的类别得分较低，所以我们要做的是修正这个W，使我们输入一张图片后，在正确的类别上得分最高

递归神经网络（RNN）是两种人工神经网络的总称。一种是时间递归神经网络（recurrent neural network），又名循环神经网络，另一种是结构递归神经网络（recursive neural network）。时间递归神经网络的神经元间连接构成矩阵，而结构递归神经网络利用相似的神经网络结构递归构造更为复杂的深度网络。RNN一般指代时间递归神经网络。单纯递归神经网络因为无法处理随着递归，权重指数级爆炸或消失的问题（Vanishing gradient problem），难以捕捉长期时间关联；而结合不同的LSTM可以很好解决这个问题。