bn,激活，droupout,残差连接这几个的顺序是什么

来源：5-1 adagrad_adam

我是卖报的小画家

2019-08-18

我看了一些代码，在卷积和bert里面的顺序都不一样。这实在是晕了

写回答

1回答

正十七

2019-10-20

同学你好，这几个的用法确实比较灵活，这里面的关键因素我觉得是bn，据我所知：

bn和激活函数的顺序可以互换： https://www.zhihu.com/question/283715823
bn和dropout一般不会同时用，因为dropout和bn都会改变方差。如果一定要用，需要在bn层后面使用dropout或者修改dropout的公式使之对方差敏感。因为bn的效果应该比较显著。
残差和bn，一般bn会用在残差块之内吧，可以参考论文《Exploring Normalization in Deep Residual Networks with Concatenated Rectified Linear Units》

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1