关于激活函数的问题

来源：5-2 激活函数到调参技巧（1）

qq_慕沐932272

2020-03-08

这节课里面讲到使用relu时要谨慎选择lr，但是，我不太懂这个激活函数和训练时候的lr的关系
谢谢老师

写回答

1回答

正十七

2020-03-08

想对于其他的激活函数比如sigmoid，relu在大于0的时候的导数是1, 而sigmoid的倒数是f(x) (1 - f(x))是一个比1小很多的数。这样，因为relu的导数比较大，所以在更新参数的时候，我们要调小lr，从而使得每次的梯度更新不要那么激烈。

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

回答 6

回答 1

回答 2

回答 2

回答 1