关于relu和leakyrelu的问题
来源：2-4 实战分类模型之模型构建
SimonYuan2018
2019-06-23
请教老师关于relu和leakyrelu的问题：这两者的概念都懂，但是不知道分别用在什么场景；或者说，什么情况下两者通用，什么情况下最好用其中的一种？
写回答
1回答
-
大部分时候差别不大，但是各有优劣：leaky relu能防止dead relu的问题，但是普通的relu可以导致最后的模型激活值比较稀疏（因为有0的存在）。而激活值稀疏对于online learning比较好。参考https://www.reddit.com/r/MachineLearning/comments/4znzvo/what_are_the_advantages_of_relu_over_the/
还有一种说法是leaky relu非线性能力不如relu，因为可能更加适合生成问题而不是分类问题。虽然我不太同意这种说法，但是有人验证过https://oldpan.me/archives/non-linear-activation-relu-or-lrelu
012019-06-28
相似问题