老师，为什么最小二乘法的损失函数不使用和梯度下降一样的MSE呢

来源：6-3 线性回归中的梯度下降法

Chasing_Cars

2018-02-12

多元线性回归的最小二乘法损失函数也受样本个数m的影响

为什么不用MSE作为损失函数呢

写回答

1回答

liuyubobobo

2018-02-12

已采纳

对于一组数据，其实m是一个常数，所以是否除以这个m，是不影响最终的解的。换句话说，最小二乘法求函数的最优解，这个函数也可以设定成是MSE，不影响最终求出的解：）

在梯度下降法中，一定要除以m，是为了在每一次搜索的时候，不要在梯度方向上走的太大。还有一种方式，是每次求出梯度以后，对梯度做一下归一化处理，求出梯度方向的单位向量，这样搜索的步长就完全由学习率参数决定了：）

Chasing_Cars

原来如此，非常感谢！

2018-02-14

共1条回复

Python3入门机器学习经典算法与应用

Python3+sklearn，兼顾原理、算法底层实现和框架使用。

5893 学习 · 2455 问题

相似问题

回答 3

回答 1

回答 1

回答 1

回答 1