过拟合

来源:10-9 多分类问题中的混淆矩阵

追梦逐梦白日做梦

2018-01-19

老师,过拟合有好的解决方案吗

写回答

1回答

liuyubobobo

2018-01-19

第八章的诸多讨论其实都是在讨论过拟合的解决方案:)

  1. 降低模型复杂度

  2. 正则化

  3. 增大样本数据

  4. 尝试化简,选择,提取更好的特征,所谓特征工程(特征不是越多越好!)

  5. 去噪

  6. 尝试使用ensemble的方法(集成学习,见课程第十三章)


暂时想到这么多,还有一些方法,是适用于具体算法的,最典型的是在深度学习领域,需要学习的一个重要的部分就是如何抑制过拟合。这部分内容在这个课程中暂时不做介绍。


其实我这里列出来的内容,除了3,近乎其他每一点展开来说都有很多内容。不过在这个课程中,除了4近乎都有所涉及,但深度不够,有兴趣可以再深入调研一下相关的一些资料:)特征工程相关讨论,可以参考这里:https://coding.imooc.com/learn/questiondetail/40722.html


另外,在实践的时候,想提醒一点,不要总以为自己的模型的问题是出在过拟合上。我见过很多模型,其实本质是High-Variance同时也High-Bias的,绝不是解决了过拟合就ok的(或者说由于High-Bias,看起来似乎总解决不了High-Variance)。可以再回想一下第八章我介绍的模型的Variance和Bias:)


2
0

Python3入门机器学习 经典算法与应用  

Python3+sklearn,兼顾原理、算法底层实现和框架使用。

5839 学习 · 2437 问题

查看课程