多元线性回归和softmax回归问题
来源:5-7 多元线性回归和正规方程解

nifo
2021-09-24
bobo老师您好,最近在看您机器学习的同时也在阅读Dive into Deep Learning。我看到deep learning讲解线性回归时候又提及一种softmax回归问题,我以前以为softmax回归就是多元线性回归,现在发现是这是错误的理解,但是还是不太懂他们直接具体区别。bobo老师我自己粗浅的理解是,softmax回归不是线性的,是离散的。而多元线性回归还是线性问题?
请bobo老师能不能有更加直白的解释。谢谢老师
1回答
-
Softmax Regression 这个课程没有介绍。但是你的理解似乎有一些问题,简单“高屋建瓴”地说一下。
最最重要的一点,Softmax Regression 对比的不是线性回归。因为 Softmax Regression 解决的不是回归问题,而是分类问题。这一点是和 Logistic Regression 一致的(虽然算法叫 Regression,但解决的是分类问题。为什么这样?课程中有介绍,回忆一下?)
而实际上,Softmax Regression 的另一个名字就是 multinomial logistic regression,也就是多元逻辑回归。我们这个课程介绍的逻辑回归,只能处理二分类问题,如果要使用逻辑回归处理多分类问题,只能用 OvO 或者 OvR 的方式。但是 Softmax Regression 能直接处理多分类问题。
实际上,Softmax Regression 是 Logistic Regression 的“泛化”,Logistic Regression 是 Softmax Regression 的“退化”。也就是如果使用 Softmax Regression 处理二分类问题,最终得到的结果是和 Logistic Regression 一致的。Logistic Regression 就是 Softmax Regression 处理二分类问题的特例。
我不太理解你说的“离散的”是什么意思。但是从线性的角度,Softmax Regression 是线性的。要注意的是,这里说的线性,是针对传入模型的特征说的。你有可能在传入模型前,对特征做了非线性处理(比如多项式特征),使得最终的结果针对原特征是非线性的。可以参考这个问答的后半部分:https://coding.imooc.com/learn/questiondetail/GgzqwXj5ldyYDxW0.html
这是我在网上找到的一个 softmax regression 分类的决策边界,你可以明显看出来他们是线性的:
其实你要看它背后的数学,也很好理解,因为它的本质是把 theta * x 放到 softmax 函数上。
继续加油!:)
132021-09-25
相似问题
回答 1
回答 1