回归问题

来源:5-3 简单线性回归的实现

秦宝宝是我最爱的宝宝

2020-09-23

老师,回归问题的损失函数都可以用(y-y_hat)^2在求和这样来表示吗?还是说必须要有线性关系的问题才能这样写?
还有这个这个平方是不是可以换成4次方或者任意偶数次方?

写回答

1回答

liuyubobobo

2020-09-23

1

是的,回归问题的损失函数都可以用(y-y_hat)^2 来表示,不需要只有线性回归才可以这样。这是一个指标,叫做 MSE,即 Mean Square Error,课程中有介绍。只不过不同的算法,y_hat 的求法不一样。


但不是回归问题的损失函数只有这一个。见下分析。


2

这个平方可以换成四次方或者其他偶数次方。

但是:

1)求解更复杂;

2)其实并不能通过这种方式获得更好的解


实际上,除了 MSE 之外,确实还有其他的损失函数的定义。对于一个算法,选择怎样的损失函数进行求解也可以看做是一种超参数。在 scikit-learn 中,很多算法拥有这个参数选择,通常这个参数被称为是 loss。


比如另一种常见的损失函数是 MAE,课程中也有介绍。但因为 MAE 不容易计算,所以不常用。但如果一定要计算,也是能求解的。


这里有一篇文章,比较了对于不同数据,使用不同的损失函数,得到的结果的差异,有兴趣可以看看。

http://rishy.github.io/ml/2015/07/28/l1-vs-l2-loss/


继续加油!:)

0
3
liuyubobobo
回复
秦宝宝是我最爱的宝宝
因为这一章在讲线性回归法啊!
2020-09-23
共3条回复

Python3入门机器学习 经典算法与应用  

Python3+sklearn,兼顾原理、算法底层实现和框架使用。

5839 学习 · 2437 问题

查看课程