Gradient Boosting Decision Tree排序问题

来源：13-6 Ada Boosting 和 Gradient Boosting

苏子浩

2019-05-16

老师，您好。我在课后也看了看梯度增强树相关的话题。我想问一下为什么说GBDT算法可以解决特征的排序问题呢？在梯度增强树中我们下一步的模型都是在拟合上一步模型的残差，由于损失函数的巧妙性使得损失函数的导数就是上一轮的残差。但是我还是没想明白，这跟特征的重要性有什么联系呢？谢谢老师！

写回答

1回答

苏子浩

提问者

2019-05-16

老师，是因为建树的原因吗，在同一棵树中，这个节点的heigh越小(i.e. 越早被选为评判标准的节点)，对于整个树来说信息熵的增益越多，可以对数据集进行更好的划分。所以可以根据这个点被选作split node的个数，作为特征排序的一个方法吗？

苏子浩

liuyubobobo

好呢，谢谢老师！

2019-05-17

共2条回复

Python3入门机器学习经典算法与应用

Python3+sklearn，兼顾原理、算法底层实现和框架使用。

5893 学习 · 2454 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1