关于eta取值使损失函数变大的问题

来源：6-2 模拟实现梯度下降法

慕粉4015830

2020-02-08

如果eta设置过大会使得损失函数变大，为什么不能判断损失函数变大后直接抛出错误，而是要等到循环次数达到上限再强制退出呢？
是因为对于某些函数即便这一次的损失函数变大，在后面的循环中损失函数仍有可能变小吗？有没有相关的数学证明呢？

写回答

2回答

qq__9987

2020-02-19

我觉得如果是碗形的话，如果损失函数值变大，你就可以直接判断退出，但是如果是波澜起伏的那种形状，那就不可这么判断。

liuyubobobo

2020-02-09

是的，可能变小。因为不是所有的损失函数都是标准的碗形。

你可以想象，损失函数有可能是波浪形。短暂的上坡之后，有可能在下坡，来到另外一个谷底，而这个谷底，可能会是一个更好的解。所谓的局部最优解不一定是全局最优解。

我在网上随便找了一个图，比如这也是一个损失函数：

//img.mukewang.com/szimg/5e3efd1608ad388804580309.jpg

继续加油！：）

Python3入门机器学习经典算法与应用

Python3+sklearn，兼顾原理、算法底层实现和框架使用。

5858 学习 · 2451 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1