对于归一化，还是有些不明白
来源：5-11 批归一化实战（2）
战战的坚果
2020-04-01
“从test上的结果看，归一化 0.69 vs 不归一化0.60， 差别已经很大了。
如果训练的时间更长，那么两者间的差别会进一步缩小。
我们在课程中还讲过BN，如果有BN的话，归一化和不归一化的差别会更小的。”
老师，上面是您对我的问题的回答，不过看了您的回答我还有些不明白。
1、“如果训练的时间更长，那么两者间的差别会进一步缩小。”，为什么会缩小，不应该变大吗？，如果越来越小，那归一化的目的在哪里！
2、“我们在课程中还讲过BN，如果有BN的话，归一化和不归一化的差别会更小的。”，为什么有BN的话，归一化和不归一化的差别会更小？，BN是批归一化，我们做的“data_aug_3 / 127.5 - 1”，也是在做归一化，它们两个冲突吗？
写回答
1回答
-
归一化的目的是为了加速训练，促进收敛，提高最终效果。主要是加速训练。所以如果是都收敛的话，那么归一化后的应该比不归一化的更快收敛，且最后效果能好一点点。但是，如果你的训练时间有限，比如只能x步，那么x越小，归一化的好处就越明显。
BN跟数据归一化是不冲突的，BN是在网络中间层输出的激活值上去做归一化，而你说的的归一化则是在数据上做的。
012020-04-05
相似问题