12-2信息熵的计算

来源：3-12 数据加载和简单的数据探索

meachinelearning

2018-07-11

波波老师，12-2信息熵的定义log是不是log2？以比特为单位的计量。相应的，用math.log计算，是不是也是log(p,2)?

写回答

1回答

liuyubobobo

2018-07-11

已采纳

由于在我们这一章所介绍的决策树的建立方法中，对于信息熵的计算，无论是使用以2为底，还是使用以e为底，都不会影响最终我们生成的决策树的形状，所以课程中对这一点并没有过多强调。在具体计算上，课程代码直接使用log函数，默认是以e为底的。修改成以2为底，没有问题：）

具体，对于信息熵来说，无论是以2为底，还是以e为底，都是有物理意义的，可以参考这个问答：）

不过已经有不少同学问这个问题了，课程中对这一点应该解释清楚的。抱歉了！

继续加油！：）

Python3入门机器学习经典算法与应用

Python3+sklearn，兼顾原理、算法底层实现和框架使用。

5839 学习 · 2437 问题

相似问题

回答 1

回答 1

回答 1

回答 3

回答 1