1回答

liuyubobobo

2018-05-19

已采纳

首先，随机梯度下降法不是必然下降的。在课程中，我使用了以下图片：

仔细观察，在一些step中，我们的目标函数不是下降，而是上升的。如果查看stochastic gradient descent的wiki（https://en.wikipedia.org/wiki/Stochastic_gradient_descent），也会看到这样一幅图：

更可以清晰地看到，随机梯度下降法不是每次都下降的。（事实上，这个图是基于小批量梯度下降法做出的。小批量梯度下降法也可以理解成是梯度下降法的一种，在课程的后面会有所提及。）

但是，随机梯度下降法会高概率的向梯度下降的方向前进（但不一定是梯度下降最快的方向，注意这里和批量梯度下降法的区别），并且如果迭代次数足够多的话，整体趋势一定是逐步向下的。因为根据所有数据计算出的方向，一定是大部分数据所反映的方向。在我们随机选取数据的时候，虽然偶尔会选到一些数据，指向梯度上升的方向；但一定大部分数据，依然会指向梯度下降的方向（不然整体方向就不会是梯度下降的方向）。只要迭代次数足够，整体趋势是向梯度下降的方向前进的：）

2

3

liuyubobobo

回复

用户Leon

gradient的计算式借助数据的。在批量梯度下降法中，使用所有数据，而在随机梯度下降法中，只使用一个数据（相应的小批量梯度下降法中，使用一个数据的子集）。是的，整体-eta*gradient指向下降的方向。

2018-05-20

共3条回复