多元线性回归和softmax回归问题

来源:5-7 多元线性回归和正规方程解

nifo

2021-09-24

bobo老师您好,最近在看您机器学习的同时也在阅读Dive into Deep Learning。我看到deep learning讲解线性回归时候又提及一种softmax回归问题,我以前以为softmax回归就是多元线性回归,现在发现是这是错误的理解,但是还是不太懂他们直接具体区别。bobo老师我自己粗浅的理解是,softmax回归不是线性的,是离散的。而多元线性回归还是线性问题?
请bobo老师能不能有更加直白的解释。谢谢老师

写回答

1回答

liuyubobobo

2021-09-25

Softmax Regression 这个课程没有介绍。但是你的理解似乎有一些问题,简单“高屋建瓴”地说一下。


最最重要的一点,Softmax Regression 对比的不是线性回归。因为 Softmax Regression 解决的不是回归问题,而是分类问题。这一点是和 Logistic Regression 一致的(虽然算法叫 Regression,但解决的是分类问题。为什么这样?课程中有介绍,回忆一下?)


而实际上,Softmax Regression 的另一个名字就是 multinomial logistic regression,也就是多元逻辑回归。我们这个课程介绍的逻辑回归,只能处理二分类问题,如果要使用逻辑回归处理多分类问题,只能用 OvO 或者 OvR 的方式。但是 Softmax Regression 能直接处理多分类问题。


实际上,Softmax Regression 是 Logistic Regression 的“泛化”,Logistic Regression 是 Softmax Regression 的“退化”。也就是如果使用 Softmax Regression 处理二分类问题,最终得到的结果是和 Logistic Regression 一致的。Logistic Regression 就是 Softmax Regression 处理二分类问题的特例。


我不太理解你说的“离散的”是什么意思。但是从线性的角度,Softmax Regression 是线性的。要注意的是,这里说的线性,是针对传入模型的特征说的。你有可能在传入模型前,对特征做了非线性处理(比如多项式特征),使得最终的结果针对原特征是非线性的。可以参考这个问答的后半部分:https://coding.imooc.com/learn/questiondetail/GgzqwXj5ldyYDxW0.html


这是我在网上找到的一个 softmax regression 分类的决策边界,你可以明显看出来他们是线性的:

//img.mukewang.com/szimg/614e0be10998472706760442.jpg


其实你要看它背后的数学,也很好理解,因为它的本质是把 theta * x 放到 softmax 函数上。


继续加油!:)


1
3
nifo
回复
liuyubobobo
是的,但是主要是导师希望我能快速上手。。。。。其实私下来讲坏话,我也感觉这种方式学习不好,因为忽略底层和概念,之后遇到问题还是一脸懵。只是在那边调框架或者现有的东西,反正什么原理之类我都不懂,至于为什么,那就是玄学。。。。。
2021-09-25
共3条回复

Python3入门机器学习 经典算法与应用  

Python3+sklearn,兼顾原理、算法底层实现和框架使用。

5893 学习 · 2454 问题

查看课程