1回答

正十七

2019-10-01

”很大的梯度流过神经元" 的意思就是指 该神经元相关的参数被梯度下降算法更新了一次。

比如原来的参数可能是：[-10, 5, 7], 然后突然来了一个梯度是[-100, -100, -100], 这样参数就更新成了 [-110, -95, -93]。 然后如果接下来的收到的数据都是[a, b, c], 其中a, b, c >=0, 这个时候神经元的输出恒为0，于是不会再有梯度传回来。因而参数得不到更新，也就变成了dead cell了。

1

2

weixin_慕尼黑0465866

然后如果接下来的收到的数据都是[a, b, c], 其中a, b, c >=0, 这个时候神经元的输出恒为0，这句话是什么意思？参数为[-110,-95,-93],参数[a,b,c]，输出不应该是[-110a-95b-93c]恒为负数，经过relu激活函数为0？

2020-05-07

共2条回复