归一化？

来源：2-5 实战分类模型之数据归一化

慕神4535282

2021-04-17

老师，上午好。
对于你在本节中提到的归一化，我查了相关的资料，
https://zhuanlan.zhihu.com/p/27627299
请问一下，文中

数据没有归一化的表达式，可以为：

$J=(3\theta _{1}+ 600\theta _{2}-y_{correct} )^{2}$

而数据归一化之后，损失函数的表达式可以表示为：

$J=(0.5\theta _{1}+ 0.55\theta _{2}-y_{correct} )^{2}$

问题1：
可以看到，未归一化前的 J 与归一化后的 J 是不相等的吧（因为式子都不一样呀），这样看来的话，未归一化前的 θ1，θ2，与归一化后的 θ1， θ2 岂不是相差很大？

问题2：
既然未归一化前的 J 与归一化后的 J 是不相等的，为什么可以用后者代替前者呢？依据是？

谢谢老师解答！

写回答

1回答

正十七

2021-04-19

已采纳

我们并不需要归一化前后的J的值相等，我们要求的是训练过程中，J要逐步下降。

我们还要的是特征theta1和特征theta2的重要程度要类似，在归一化前，theta2的参数达到了600，比theta1的系数要大很多。说明theta2的取值范围非常小。因此，做了归一化后，theta1和theta2的取值范围类似，那么它们的稀疏也就差距不大，这样有利于模型的快速学习。

慕神4535282

非常感谢！

2021-04-20

共1条回复

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 2