weixin_39898688的博客

原创 机器学习のせかい-01逻辑回归(下)

3.5 对梯度下降中学习率的探讨 其中 α-----学习率或者步长。 假设现在的损失函数如图所示，定点 沿B的方向走一步。 则: 所以说，a控制水平方向的改变大小，当a越大时，BC的长度就越大，水平方向就大；越小时，BC的长度就越小。可以类似的理解为水平方向上跨了多大一步，并且a不是什么距离长度或者单位啥的，只能说是梯度大小值得比例，影响着参数得每一次迭代得改变部分...