关于过拟合

来源：9-7 scikit-learn中的逻辑回归

慕沐7197561

2020-05-25

1 在我理解正则化的用途就是通过减小theta减少拟合曲线波动过于大的部分，但是如果选择合适的degree就不会存在这个问题了，那也就不需要正则化了。我的问题是：degree在实际中一般是怎么选取的，什么时候需要使用正则化呢？

2 您在末尾提到国外的后很多很好的ML教程，可以推荐一些吗？

写回答

1回答

liuyubobobo

2020-05-25

已采纳

degree 怎么选取？如果明确的知道某个特征的幂次和最终结果是相关的，可以直接使用这个幂次。不过在大多数情况下，我们并不知道这个信息，所以都是尝试使用网格搜索。

degree 和正则化不冲突，是一个配合关系。一个很高的 degree，意味着模型很复杂，但是正则化可以一定程度缓解这一点，避免过拟合。一个高 degree 配合正则化的模型；和一个低 degree 的模型不是一回事。

你也可以成：degree = 1 的模型肯定是线性的。但是 degree = 2 配合正则化的模型，还是非线性的：）

另外，正则化并不只在多项式回归中使用。SVM 中也有正则化，只不过表达式不太一样。在模型过于复杂的情况下，就可以考虑使用正则化技术。（或者说，在过拟合的情况下，就可以考虑使用正则化。）

不过这本书现在国外已经有最新的第二版了，国内还没有引进。仅供参考。

加油！：）

慕沐7197561

谢谢波波老师

2020-05-25

共1条回复

Python3入门机器学习经典算法与应用

Python3+sklearn，兼顾原理、算法底层实现和框架使用。

5839 学习 · 2437 问题

相似问题

回答 1

回答 2

过拟合

回答 1

回答 1

回答 1