激活函数放在 bn 之前和之后有什么区别？

来源：2-10 实战批归一化、激活函数、dropout

大红豆小薏米

2020-05-11

写回答

1回答

正十七

2020-05-13

同学你好，我把另一个问题的回答贴到了这里，应该能回答你的问题。

问题： bn,激活，droupout,残差连接的顺序？

这几个的用法确实比较灵活，这里面的关键因素我觉得是bn，据我所知：

bn和激活函数的顺序可以互换： https://www.zhihu.com/question/283715823

bn和dropout一般不会同时用，因为dropout和bn都会改变方差。如果一定要用，需要在bn层后面使用dropout或者修改dropout的公式使之对方差敏感。因为bn的效果应该比较显著。

残差和bn，一般bn会用在残差块之内吧，可以参考论文《Exploring Normalization in Deep Residual Networks with Concatenated Rectified Linear Units》

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1