什么叫做数据偏向一方，不归一化的话，就会偏向0概率或者1概率吗
来源：2-7 神经元实现（二分类逻辑斯蒂回归模型实现）
qq__9987
2020-03-13
如题
写回答
1回答
-
正十七
2020-03-14
不归一化偏向一方的意思不是这样的。
归一化的作用是有助于梯度学习。
如果数据归一化了，那么均值为0，然后参数的初始化均值是0，此时，经过一层神经网络后，输出的激活值的均值依然是0。然后在进行梯度计算的时候，由于激活值的均值是0，就会导致梯度的方向正负分布比较均匀。反之，如果不归一化，那么有可能会导致梯度的方向全部为正或者负。同时，数据归一化后方差为1，也可以限制梯度的范围，避免梯度爆炸或梯度消失的情况发生。反之，如果不归一化，就会导致梯度的更新异常。
具体有公式可以推导，不过简便起见，大致理解是这样。
但是这并不意味着非要做归一化，数据量不大的时候不做归一化一般也没问题。大数据的时候不做归一化大概率会导致训练变慢一些，加长训练时间很大可能可以排除影响。
00
相似问题