对于卡方检验, 是不是常用在模型训练时的维度选择上?

来源:6-4 学习假设检验

nccd2030

2020-01-10

对于卡方检验, 是不是常用在模型训练时的维度选择上? 如果是 如何根据卡方检验的结果去选择维度。 根据检验结果与0.05比较,是不是检验结果值越小,表示此维度与label关联性越强, 此维度越应该保留。 这个出来的模型效果一般会更好?

写回答

1回答

Wotchin

2020-01-11

是的,假设检验是一种常用的特征选择手段。你说的这些,是正确的,但是要注意,你的零假设是:
该特征与结果不相关。
因此,当p值比较小时,证明该假设出现的概率很低,从而有更大的把握拒绝假设,故而我们得出了:
该特征与预测结果相关,即该特征很重要的结论。
值得一提的是,对于决策树,Lasso回归这种,假设检验与否关系不太大,对于机器学习具有很多特征(几千个起步),这种方法会漏掉特征。因此,该方法常用外特征不是十分膨胀时的特征选择。

0
0

掌握Spark机器学习库 大数据开发技能更进一步

案例+原理+代码 提升大数据处理能力

476 学习 · 81 问题

查看课程