1回答

liuyubobobo

2020-01-29

已采纳

theta 越大，曲线越陡。

试一试，画出 y = x^2 和 y = 20 * x^2 的函数，比较一下？

画出 y = x^3 - x^2 + x - 1 和 y = 20 * x^3 - 40 * x^2 + 60 * x - 1 的函数，比较一下。

极端情况，你可以想象一下，如果所有的 theta 都是 0，那么我们的函数就变成了 y = 0，就是一条直线。

曲线越陡，越容易出现这样的过拟合：

为什么加入 alpha 项，可以限制 theta？

可以用极限的思维想想一下，在这个式子中：

如果 alpha 无限大，那么此时，前面的 MSE 部分相较而言，可以忽略不计。整个损失函数，就是 theta 的平方和乘以 alpha。

此时，如何让损失函数 J 最小？就是所有的 theta 都取 0。

当然，实际上，我们不可能让 alpha 无穷大，但是这个思维可以帮助我们理解，为什么 alpha 能够限制 theta 的大小。

继续加油！：）

2

4

liuyubobobo

回复

SomnusL

损失函数的大小无法判断是否过拟合，只能描述拟合程度。损失函数越小，说明拟合程度越高。判断过拟合的最普遍的方式就是：在训练数据集上拟合程度很高，但是在测试数据集上，拟合程度却很低。为什么会出现这种情况？就是因为有我在课程中实验的曲线的样子（我贴在了上面的问答中），曲线过于崎岖陡峭。怎么解决？正则化是一种解决方案，因为正则化在限制 theta，让曲线不要那么崎岖陡峭。

2020-01-30

共4条回复