批归一化应用位置

来源：5-2 激活函数到调参技巧（1）

qq_CakeMarmalad_0

2019-09-06

老师您好，5-2节课中，你讲到批归一化的时候说的是在每一层得到激活值之后作归一化处理，但是5-11的实战中，代码里面您的归一化是用在激活函数之前？请问5-2口误了吗？

写回答

1回答

正十七

2019-10-01

已采纳

如果是这样，那确实是口误。

不过有一点需要注意，那就是，批归一化和激活函数的位置关系其实现在还没有定论，即relu和BN谁前谁后都可以，都能有效果。

qq_CakeMarmalad_0

非常感谢！

2019-10-07

共1条回复

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

回答 1

回答 6

回答 1

回答 1

回答 1