损失函数和松弛变量η有什么关系吗?
来源:11-3 Soft Margin SVM
X_yong
2018-01-26
在看资料时,发现有hinge损失,指数损失,对率损失等。这些损失函数有什么作用?与松弛变量η有什么关系?
写回答
1回答
-
这个课程由于对SVM没有深入的特别深,所以对损失函数没有过多介绍。简单解释如下:
这个课程的讲解,我们已经知道,对于SVM,本质是这样的最优化问题:
其中,下面这个条件
可以写成:
,f(x)=0就是我们的决策边界。
又因为
我们可以得到:
我们的最优化式子就变成了:
上图公式中标注的蓝色部分,就是损失函数:)
我在这里推导出的这个函数,就是大名鼎鼎的hinge损失函数(关于yf(x)的函数),因为这个函数图像像一个门的合页。这里,这个损失函数,也可以根据计算的需要或者精度的需要,使用其他损失函数(具有同样或者类似的性质)替换。
更深入的内容,不是在问答区一句两句可以说清楚的了。:-(
这个课程的主要目的还是以入门为主,更深入的内容,可能还是需要深入进阶书籍,或者期待一下我的进阶课程:)(如果会出的话。。。)
232020-10-02
相似问题