每层初始化后，梯度是如何计算出来的

首页课程实战体系课手记专栏慕课教程

每层初始化后，梯度是如何计算出来的

来源：5-2 激活函数到调参技巧（1）

慕无忌3122985

2018-08-28

视频15：56秒左右，有一个tanh，用均值0，方差0.02的正太分布初始化，可以看到高层的梯度都集中在0，这些高层的梯度是如何计算出来的呢？

写回答

1回答

正十七

正十七

2018-08-31

已采纳

梯度都是使用反向传播计算出来的。在这个过程中，需要输入一些样本进行梯度的计算。

1

1

慕无忌3122985

非常感谢！

2018-08-31

共1条回复

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

关于计算图的问题

回答 1

老师, 还是不太懂动量梯度下降的意思, 能简单举例说明下吗

回答 1

关于很大的梯度流过

回答 1

很大的梯度流过神经元？？

回答 1

关于learning_rate

回答 1

打开慕课网App查看更多内容