什么BN在训练和测试时要用不同的方式计算均值与方差呢

来源:5-11 批归一化实战(2)

追梦逐梦白日做梦

2018-08-09

这里不太明白,为什么训练时是在batch内计算,而测试时却要在整个测试集上进行加权平均呢

写回答

1回答

正十七

2018-08-12

因为均值和方差是统计量,在越多的数据上进行计算会越好。所以人们会考虑在更多的数据集上进行计算,比如现在有的改进呢是将训练时的batch内计算给改成一个历史加权均值。

0
0

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学,深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

查看课程