这一节讲的非常糟糕

来源：3-31 Pytorch与autograd中的几个重要概念-variable-grad-grad_fn

谢思阳

2020-11-21

之前的课听的都还明白，到了这一节就很多听不懂了。比如为什么要计算grad_fn，什么时候我们需要让梯度累加，什么时候要让他归零，原理是什么？…解释非常少。

写回答

1回答

会写代码的好厨师

2020-11-26

梯度计算的基本原理在前面章节应该已经介绍过了。

课程中，梯度的计算是因为BP算法的需要，也就是对参数进行学习和调整。

梯度归零，可以理解成每次在进行BP的时候，pytorch由于动态图机制会对之前的梯度进行累加。因此，需要清除掉之前的梯度。有些任务，比如多任务网络里面，又需要保留不同分支计算loss对梯度的累加，所以，pytorch没有将这个置零的操作自动化。需要根据需要自己去设置。

有些内容展开的不够详细，主要还是课时时长的限制。不过，整个课程内容确实有很多可以优化的地方，谢谢提的建议。

PyTorch入门到进阶实战计算机视觉与自然语言处理项目

理论基础+技术讲解+实战开发，快速掌握PyTorch框架

1190 学习 · 293 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1