关于梯度下降与样本使用次数和数量

来源：3-1 神经网络进阶

CYW好好学习

2019-04-23

1、当我传入 “一个” 样本让这个初始的网络执行，正向传播，反向传播，求偏导，更新各个w和偏置b，请问是只更新一次吗？我可以让这个样本传一万次吗？传一万次这个样本能不能让w 和偏置b 更新一万次？（注意我说的是同一个样本）。
2、如果是分类的网络，当我已经用一个样本训练过了，假如我再传入这个样本，一定会预测准确吗？

写回答

1回答

正十七

2019-04-25

已采纳

你可以让这个样本传1万次，传1万次w和b就被更新了1万次。神经网络不能识别训练数据是不是一样的。在一般的正常的训练中，我们也是把N个样本重复训练M次，相当于N个样本中的每个都被传进去M次，M也可以等于1万
取决于你训练了多少次，如果你训练了足够多的次数，那么模型就会在这个样本上过拟合，也就是“记住”了这个样本，那么就会预测准确，如果只传进去了区区几次，那么不一定准确。

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

查看课程

相似问题

关于很大的梯度流过

回答 1

关于动量梯度下降

回答 1

动量梯度下降局部极值问题

回答 1

当训练次数达到一定程度时准确率会降低？

回答 1

老师, 还是不太懂动量梯度下降的意思, 能简单举例说明下吗

回答 1

打开慕课网App查看更多内容