动量梯度下降局部极值问题
来源：3-1 神经网络进阶
怀瑜
2018-08-29
动量梯度下降算法由于更新不完全单独由当前梯度值决定，还受到历史的梯度值影响，在陷入局部最优值之后可以跳出来，在这个地方如果是全部最后的话，是不是也会跳出？请老师解答
写回答
1回答
-
这个需要具体问题具体分析。对于一些特定的样例，这样确实存在跳出全局最优解的问题。但是，在一般情况下，局部最优解比全局最优解要多得多。所以动量梯度下降容易遇到的是局部最优解问题。而且，动量梯度下降方法的动量积累是加权积累，当一个解附近的区域比较平滑的时候，也是不会跳出的。你可以认为动量梯度下降解决的是比较陡峭的全局最优解问题。
112018-12-07
相似问题