MBGD和dataloader分batch的区别

来源:5-13 优化器

RHY0610

2021-07-13

老师请问下,MBGD的梯度下降法与我们在第四章的mini-batch的分类没有关系吧,dataloader相当于每次给模型一个batch的输入,然后模型采用GD的方式进行梯度下降,而我们要使用MBGD的话需要在优化其中进行定义,请问我理解的对吗,谢谢

写回答

1回答

会写代码的好厨师

2021-07-15

实际上这里讲到的不同的计算梯度的方式,实现原理是一样的。区别在于,每次用多少个样本计算梯度,mini batch就是用这个batch的样本计算,比单个样本更稳定,比全部样本更快。

0
0

PyTorch入门到进阶 实战计算机视觉与自然语言处理项目

理论基础+技术讲解+实战开发,快速掌握PyTorch框架

1190 学习 · 298 问题

查看课程