批归一化的参数量
来源:5-11 批归一化实战(2)
慕尼黑2500106
2020-04-03
老师我想问一下如何计算batch normalization所需的参数量。在CNN中BN 的参数量是否还和该层卷积核的数量有关?
写回答
1回答
-
正十七
2020-04-04
BN所需的参数量跟上一层的卷积核的数量就没有关系了。而是跟输入的size有关系。比如输入的大小是[batch_size, width, height, channel],BN是在batch上做normalization,可以把输入看成是batch_size个[width, height, channel]的矩阵,[width, height, channel]矩阵上的每个位置都有batch_size个值,我们需要对每个位置上的这m个值去做BN,因而我们需要存储[width, height, channel]个均值和方差,以及beta和gamma, beta和gamma的定义参见:https://www.cnblogs.com/skyfsm/p/8453498.html
所以,参数量为[4, width, height, channel]
https://www.tensorflow.org/api_docs/python/tf/nn/batch_normalization
API文档里表达的也是一个意思。
00
相似问题