什么BN在训练和测试时要用不同的方式计算均值与方差呢
来源:5-11 批归一化实战(2)
追梦逐梦白日做梦
2018-08-09
这里不太明白,为什么训练时是在batch内计算,而测试时却要在整个测试集上进行加权平均呢
写回答
1回答
-
因为均值和方差是统计量,在越多的数据上进行计算会越好。所以人们会考虑在更多的数据集上进行计算,比如现在有的改进呢是将训练时的batch内计算给改成一个历史加权均值。
00
相似问题
什么BN在训练和测试时要用不同的方式计算均值与方差呢
来源:5-11 批归一化实战(2)
追梦逐梦白日做梦
2018-08-09
这里不太明白,为什么训练时是在batch内计算,而测试时却要在整个测试集上进行加权平均呢
1回答
因为均值和方差是统计量,在越多的数据上进行计算会越好。所以人们会考虑在更多的数据集上进行计算,比如现在有的改进呢是将训练时的batch内计算给改成一个历史加权均值。
相似问题