soft SVM理论部分的疑问

来源：11-4 scikit-learn中的SVM

weixin_慕村8280326

2021-09-22

图片描述

老师，按照优化函数来看，虽然对其他的样本有了一定的容错，但是那个min(|w|)并没有变吧？那么这样反推，支撑向量到决策边界的距离还是要最大才行，这样看着就感觉不对了，是不是因为加入了yita,所以就导致了min(|w|)这一块也变了？因为他已经不在那个w转置x+b=1的直线上面了，它所在的直线是 w转置x+b=1-η,我的感觉是之前的那个min（|w|）推导应该不成立了吧？就是当支撑向量在原来那条直线才可以推出这个min(1/2|w|²),而且观察图像也感觉在直线上的点，并不像完全在直线上，老师能解答一下这其中的变化吗？

写回答

1回答

liuyubobobo

2021-09-24

soft SVM 的最优化问题已经不是最小化 |w| 了，而是这个式子：上面的是最小化的内容，下面的是条件。是一个有条件的最优化问题，并且最优化式子的求解中添加了 eta。（注意，eta 不是已知量，而是未知量。）

//img.mukewang.com/szimg/614caa4f090daa0a18740998.jpg

对于这个最优化问题的求解，已经完全超过这个课程的内容了。实际上，这个最优化式子的求解，超过了大多数专业本科水平对数学的要求，甚至超过了大多数专业研究生水平对数学的要求（除非学习了凸优化的课程）。

如果对这后面的数学推导感兴趣，我在这里介绍了一些资料（或者在网上搜索的关键字）：https://coding.imooc.com/learn/questiondetail/gDANwYN0Zrg6K120.html

P.S. 刚才我搜索，这个问答里的第一个链接 down 掉了，我不确定是暂时的还是永久的，附一份网页快照的链接：https://webcache.googleusercontent.com/search?q=cache:sgbE3pqPx5wJ:https://shuzhanfan.github.io/2018/05/understanding-mathematics-behind-support-vector-machines/+&cd=15&hl=zh-CN&ct=clnk&gl=us

继续加油！：）

liuyubobobo

weixin_慕村8280326

我明白你的意思了，我理解错你的原问题了。我以为你问的是 soft svm 的决策边界是不是一条直线。soft svm 的决策边界仍然是一条直线，但是满足的不是简单的 | wx+b|=1 了，而是我给的图中 ppt 的条件。这里的核心是，对于每一个数据，都有一个 eta 值，来控制其容错的程度（而不是一个统一个 eta）。关于为什么会这样，可以参考这个问答：https://coding.imooc.com/learn/questiondetail/4daeR64J02mYnWEp.html 所以你描述的“如果min那一块优化函数不变”是错误的。soft svm 和 hard svm 的优化函数是完全不一样的。

2021-10-01

共7条回复

Python3入门机器学习经典算法与应用

Python3+sklearn，兼顾原理、算法底层实现和框架使用。

5839 学习 · 2437 问题

查看课程

相似问题

【疑惑】异常点对于决策边界的影响

回答 1

soft svm中的支撑向量

回答 1

lr和svm的比较

回答 1

老师用 PCA + SVM 进行人脸识别大体的对scikit-learn中的人脸进行处理的时候将降维之后的矩阵当成样本传入的时候怎么进行预测啊

回答 1

为什么SVM这个例子中“距离决策边界最近的点”是3个？

回答 1

打开慕课网App查看更多内容