关于多元线性回归挑选自变量

来源:10-12 常用的检验都是回归的一种特殊形式

崔东旭666

2019-12-12

自变量的挑选的具体步骤,老师能发一下文章链接吗?

写回答

1回答

Angelayuan

2019-12-16

自变量筛选的方法一般包含向前选择法、向后剔除法、逐步回归法。

  1. 向前选择法/前进法(forward selection):是回归方程中自变量从无到有、由少到多的过程。它的做法是首先将每个自变量与因变量做回归,挑出一个影响最大的,做假设检验后先进入方程。在保留已经进入的自变量的情况下,从剩余自变量中挑选偏回归平方和大的自变量进入方程。依此类推,直到没有合适的自变量可以引入。这个方法的局限性是后续引入的自变量可能会使之前引入的自变量变得不重要,其优点是可以自动去掉高度相关的自变量。

  2. 向后剔除法/后退法(backward elimination):与向前选择法正好相反,是回归方程中的自变量由多到少,逐渐精简的过程。它的做法是首先是把所有自变量都放入回归方程,然后计算每个自变量的偏回归平方和,剔除偏回归平方和最小的一个自变量(此过程也需要做统计推断)。然后再对剩余的自变量进行类似的筛选,直至无自变量可被剔除。该方法选中的自变量数目一般会比向前选择法多,其缺点是不能有效避免某些高度相关的自变量。

  3. 逐步回归法(stepwise regression):该方法的本质是前进法,但是每引入一个新的自变量后,都需要对方程中旧的自变量做检验,判断其是否还有存在的价值。依此类推,直至方程稳定,不再有自变量进入或退出。逐步法既具备向前选择法的优点,又有效地避免了其缺点。


然而上述方法并不是绝对的,还要结合问题本身和专业知识来共同判断。比如说你的专业知识告诉你要把某个自变量X加入到方程中,那么即使上述方法决定的模型不包含X,你也应该把X加入到方程中。

0
1
崔东旭666
非常感谢!
2019-12-18
共1条回复

专为程序员设计的统计课

清晰的统计学知识网络+与编程结合的讲解方式+数据可视化展示

1630 学习 · 173 问题

查看课程