损失函数和松弛变量η有什么关系吗?

来源:11-3 Soft Margin SVM

X_yong

2018-01-26

在看资料时,发现有hinge损失,指数损失,对率损失等。这些损失函数有什么作用?与松弛变量η有什么关系?

写回答

1回答

liuyubobobo

2018-01-26

这个课程由于对SVM没有深入的特别深,所以对损失函数没有过多介绍。简单解释如下:


这个课程的讲解,我们已经知道,对于SVM,本质是这样的最优化问题:

//img.mukewang.com/szimg/5a6ae5ca0001d17b09230103.jpg

其中,下面这个条件 

//img.mukewang.com/szimg/5a6ae6020001fa2102660062.jpg

可以写成:

//img.mukewang.com/szimg/5a6ae66f000113cd02130054.jpg,f(x)=0就是我们的决策边界。

又因为

//img.mukewang.com/szimg/5a6ae6e3000133aa00770041.jpg

我们可以得到:

//img.mukewang.com/szimg/5a6ae6ff0001ea3103210048.jpg

我们的最优化式子就变成了:

//img.mukewang.com/szimg/5a6ae72100017dd404780145.jpg

上图公式中标注的蓝色部分,就是损失函数:)


我在这里推导出的这个函数,就是大名鼎鼎的hinge损失函数(关于yf(x)的函数),因为这个函数图像像一个门的合页。这里,这个损失函数,也可以根据计算的需要或者精度的需要,使用其他损失函数(具有同样或者类似的性质)替换。


更深入的内容,不是在问答区一句两句可以说清楚的了。:-( 

这个课程的主要目的还是以入门为主,更深入的内容,可能还是需要深入进阶书籍,或者期待一下我的进阶课程:)(如果会出的话。。。)

2
3
手中的铅笔
老师,赶紧出进阶课程哇:)你出啥机器学习进阶课程我都买:)
2020-10-02
共3条回复

Python3入门机器学习 经典算法与应用  

Python3+sklearn,兼顾原理、算法底层实现和框架使用。

5856 学习 · 2437 问题

查看课程