关于维度和决策边界的问题
来源：11-7 RBF核函数
神羅ten徵
2019-05-15
有几个关于SVM维度和决策边界的问题，不是很明白，有一点自己的理解，不知道对不对，还望老师帮忙解答和指正：）
1、之前在讲多项式特征逻辑回归时，是从决策边界及分类准确度的角度引入多项式特征的，即决策边界为曲线（面）时，使用线性方法没办法得到比较准确的决策边界（欠拟合），因此引入了多项式特征。是否可以换成从维度的角度理解呢？就是多项式逻辑回归也是一个将低维的数据投影到了高维后再进行分类的方法？
2、使用多项式SVM或高斯核SVM后，可以发现决策边界都是曲线（面），是否可以这样理解：将数据使用多项式SVM或高斯核SVM投影到高维之后，使用一个超平面对数据进行分类，而我们在二维平面上看到的决策边界实际上就是这个超平面切割得到的分类边界在二维平面上的投影？
3、对于多项式逻辑回归或者多项式SVM，我们在二维平面上看到的决策边界都会是相应的多项式曲线（如使用degree=2时，决策边界是二次曲线，使用degree=3时，决策边界是三次曲线）吗？
下图为使用PolyNomialFeatures（degree=2）+StandardScaler+LinearSVC步骤，对moons数据进行SVM分类后，得到的决策边界（横纵坐标范围已拓展），可以看出来决策边界像是二次方曲线（椭圆）
当使用多项式核（即StandardScaler+SVC(kernal='poly‘， degree=2)）时，二维平面上的决策边界看起来也像是二次曲线（双曲线）。那这两个图是否能支持我的上述观点呢（即：使用n次多项式特征，二维平面的决策边界就一定是n次多项式曲线）？
谢谢：）
1回答
-
大赞！你的理解整体近乎都是正确的：）
1.
多项式回归确实是一个降低为数据映射到高维的方法：）
2.
我们在二维平面上看到的决策边界实际上就是这个超平面切割得到的分类边界在二维平面上的投影？这个说法我认为不够准确。关键在于什么是投影。
实际上，我们在这个课程中，之所以都是在二维平面上看到决策边界，是因为我们的数据是二维的。如果我们的数据是多维的，会给我们的可视化造成巨大的困难。对于3维以上的数据，则完全不可以直接可视化。所以，我在课程中，是以二维数据进行的举例，二维数据的决策边界，自然也在二维空间，而不是我们进行某种“投影”运算的结果：）
但是，我们可以想象，对于高维数据，SVM也将制作出一个或者多个“超曲面”分割整个高维空间，形成高维空间中的决策边界。
3.
如果经过PolyNomialFeatures后进行LinearSVM，或者SVM是多项式核，是的，决策边界就是多项式曲线。
但是，如果SVM是高斯核，则不是：）
继续加油！：）
052019-05-15
相似问题
回答 1
回答 1