MBGD和dataloader分batch的区别
来源:5-13 优化器

RHY0610
2021-07-13
老师请问下,MBGD的梯度下降法与我们在第四章的mini-batch的分类没有关系吧,dataloader相当于每次给模型一个batch的输入,然后模型采用GD的方式进行梯度下降,而我们要使用MBGD的话需要在优化其中进行定义,请问我理解的对吗,谢谢
写回答
1回答
-
会写代码的好厨师
2021-07-15
实际上这里讲到的不同的计算梯度的方式,实现原理是一样的。区别在于,每次用多少个样本计算梯度,mini batch就是用这个batch的样本计算,比单个样本更稳定,比全部样本更快。
00
相似问题