回归问题
来源:5-3 简单线性回归的实现
秦宝宝是我最爱的宝宝
2020-09-23
老师,回归问题的损失函数都可以用(y-y_hat)^2在求和这样来表示吗?还是说必须要有线性关系的问题才能这样写?
还有这个这个平方是不是可以换成4次方或者任意偶数次方?
写回答
1回答
-
1
是的,回归问题的损失函数都可以用(y-y_hat)^2 来表示,不需要只有线性回归才可以这样。这是一个指标,叫做 MSE,即 Mean Square Error,课程中有介绍。只不过不同的算法,y_hat 的求法不一样。
但不是回归问题的损失函数只有这一个。见下分析。
2
这个平方可以换成四次方或者其他偶数次方。
但是:
1)求解更复杂;
2)其实并不能通过这种方式获得更好的解
实际上,除了 MSE 之外,确实还有其他的损失函数的定义。对于一个算法,选择怎样的损失函数进行求解也可以看做是一种超参数。在 scikit-learn 中,很多算法拥有这个参数选择,通常这个参数被称为是 loss。
比如另一种常见的损失函数是 MAE,课程中也有介绍。但因为 MAE 不容易计算,所以不常用。但如果一定要计算,也是能求解的。
这里有一篇文章,比较了对于不同数据,使用不同的损失函数,得到的结果的差异,有兴趣可以看看。
http://rishy.github.io/ml/2015/07/28/l1-vs-l2-loss/
继续加油!:)
032020-09-23
相似问题