这个作为损失函数什么 不行呢?

来源:9-2 逻辑回归的损失函数

qq_书山压力大EE_0

2019-01-06

1-p if y=1
p if y=0

也是符合 如果y=1 p越小,cost越大, 如果y=0,p越大,cost越大

而且这样非常好理解 损失函数=|正确值y - 预测值p|

写回答

2回答

liuyubobobo

2019-01-06

赞!其实是可以的:)


只不过你的这个函数并不满足最大似然估计推到得到的结果。由于课程设计中尽量避免过多的数学知识,所以没有介绍最大似然估计,直接给出了逻辑回归的损失函数定义。逻辑回归的这个损失函数并不是简单的符合“如果y=1 p越小,cost越大, 如果y=0,p越大,cost越大”而已。实际上,符合这个简单的“单调性”的函数有无数多个。但是,满足最大似然估计的结果是这一个。简单的说,最大似然估计保证了在当前样本所描述的“分布”中,能够最大概率的保证分类的正确。


关于最大似然估计以及推导出逻辑回归的这个损失函数,印象里大名鼎鼎的PRML中(https://book.douban.com/subject/2061116/)就有详细的推导,有兴趣也可以在互联网上查找更多资料进行自学:)


加油!:)


6
1
qq_书山压力大EE_0
谢谢老师!
2019-01-06
共1条回复

qq_书山压力大EE_0

提问者

2019-01-06

看到 有同学 问过类似问题,  所以 这个问题的本质 应该是

为什么 损失函数 的值域  得要[0, 正无穷)?

0
0

Python3入门机器学习 经典算法与应用  

Python3+sklearn,兼顾原理、算法底层实现和框架使用。

5855 学习 · 2437 问题

查看课程