随机梯度下降法的随机究竟体现在哪里？

来源：6-6 随机梯度下降法

MMXDH

2018-10-17

bobo老师好，我想请教一个问题，随机梯度下降法的随机究竟体现在哪里？我理解stochastic应该指一种过程上的随机，光取随机一个样本是随机的本质吗？如果是的话，不就是random吗？谢谢！

写回答

1回答

liuyubobobo

2018-10-17

已采纳

梯度下降法，每次搜索的方向，应该是梯度的反方向。梯度的方向，应该是根据所有样本计算出来的。

而随机梯度下降法，每次搜索的方向，只是根据某一个随机样本计算出来的，所以，这个梯度也就具有一定的随机性。即在随机梯度下降法中，每次搜索的方向不是梯度的反方向！其实是一个随机方向。但他不完全是random的方向，是根据一个随机样本计算出的方向，所以叫做随机梯度，而不是随机搜索：）

Fastpengmi

liuyubobobo

好的！谢谢！

2019-11-20

共3条回复

Python3入门机器学习经典算法与应用

Python3+sklearn，兼顾原理、算法底层实现和框架使用。

5839 学习 · 2437 问题

相似问题

回答 1

回答 1

回答 1

回答 2

回答 1