关于激活函数 的问题

来源:5-2 激活函数到调参技巧(1)

qq_慕沐932272

2020-03-08

这节课里面讲到使用relu时要谨慎选择lr,但是,我不太懂这个激活函数和训练时候的lr的关系
谢谢老师

写回答

1回答

正十七

2020-03-08

想对于其他的激活函数比如sigmoid,relu在大于0的时候的导数是1, 而sigmoid的倒数是f(x) (1 - f(x))是一个比1小很多的数。这样,因为relu的导数比较大,所以在更新参数的时候,我们要调小lr,从而使得每次的梯度更新不要那么激烈。

1
0

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学,深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

查看课程