很大的梯度流过神经元？？

来源：5-2 激活函数到调参技巧（1）

慕桂英雄

2019-05-28

图片描述很大的梯度流过神经元，不会有激活现象？？？这段没听懂。。

写回答

1回答

正十七

2019-06-09

已采纳

假设relu的输入也就是上一层的输出是一个大于0的值，那么当一个比较大的梯度经过后，使得网络通过调整让relu的输入小于0了。在这个时候，因为经过relu后是0，所以梯度计算出来就都是0了，因而底层的网络可能会不再调整，因而relu之后的输出值就一直是0，没有了变化，就形成了dead relu.

慕桂英雄

非常感谢！

2019-06-09

共1条回复

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1