老师，小批量随机梯度下降法的学习率也是随迭代次数增大而减小吗，每次选择的样本一般是多少呢
来源：6-9 有关梯度下降法的更多深入讨论
慕用6515613
2018-08-24
写回答
1回答
-
liuyubobobo
2018-08-24
梯度下降法中的学习率是一个超参，是和迭代次数独立的一个参数，而不是迭代次数的函数。学习率需要在执行算法前进行指定。可以参考我们这个课程中实现的梯度下降法训练的函数声明：
def fit_bgd(self, X_train, y_train, eta=0.01, n_iters=1e4):
其中，eta是学习率；n_iters是迭代次数。
对于小批量梯度下降法，每一个“小批量”是多少，可以根据自己计算环境的计算资源和样本总量而定，10%样本，5%样本，1%样本，都可以：）这也是一个超参数。随机梯度下降法和批量梯度下降法是小批量梯度下降法的两级。随机梯度下降法等于每一个批量的样本数为1；批量梯度下降法等于每一个批量的样本数为100%：）
加油！：）
032018-08-24
相似问题