m0_47076956的博客

原创 Deep learning from scratch note(fish book-Japan)

实际上，前面提到的使用了MNIST数据集的例子中，输入图像就是1通道、高28像素、长28像素的（1.28,28）形状，但是却被排成1列，以784个数据的形式输入到最开始的Affine层。为了改善这个问题，可以使用RMSProp方法，这个方法并不是将过去所有的梯度一视同仁的相加，而是逐渐的遗忘过去的梯度，在做加法运算时将新梯度的信息更多的反映出来。以下的代码使用了层，通过使用层，获得识别结果的处理（predict()）和计算梯度的处理（gradient()）只需要通过层之间的传递就能完成。