ReLU在训练的时候很脆弱，容易失去作用
来源：3-8 长短期记忆网络（LSTM）
朱钢同学
2018-09-03
假如一个非常大的梯度流过一个relu神经元，更新参数后，这个神经元就不会对任何数据有激活现象，那么这个神经元的梯度就是0，这个问题怎么解决
写回答
1回答
-
一个非常大的梯度经过梯度更新后很可能使参数w或者b变成了绝对值很大的参数，尤其是偏置项b变成了一个极小的数值，那么这个神经元的wx+b很有可能永远小于0，但是这种情况不是说一个极大的梯度经过以后就一定是输出永远小于0.，只能说这样的情况的确存在…对relu,没有激活意味着wx+b<0,那么该relu神经元输出就是零,那么反向传播经过该神经元的梯度就是零,那么也就意味着这个神经元失活了。
012018-09-05
相似问题