为什么小批量随机比随机会更接近真实梯度？

来源：6-9 有关梯度下降法的更多深入讨论

神经旷野舞者

2018-02-14

感觉都是随机，本质都是求sigma()/m的近似值，是不是说，现在有100个随机数，求得其平均值m，任取其中10个数求得其平均值，比任取一个数作为平均值，要更接近真实平均值m？这个是什么规律吗？

写回答

1回答

liuyubobobo

2018-02-15

已采纳

当然啦。最准确的梯度是使用100个样本，随机梯度只使用1个样本。我现在使用10个样本，介乎两者之间：）

Python3入门机器学习经典算法与应用

Python3+sklearn，兼顾原理、算法底层实现和框架使用。

5860 学习 · 2451 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1