“在逻辑回归中使用正则化”

来源:9-7 scikit-learn中的逻辑回归

亨heng

2021-11-11

老师,这节里的“在逻辑回归中使用正则化”里,sklearn和上一章我们学的正则化方式的区别不是很明白,麻烦老师再梳理一下呗🧐🥳

https://img.mukewang.com/szimg/618c86d9080c7e4115002000.jpg

写回答

1回答

liuyubobobo

2021-11-11

我不很确定你不理解的点在哪里。如果下面的解释还有疑问,请补充说明一下自己具体不理解的点。


简单来说,正则化一个模型,所对应的最优化的式子,有两部分,一部分是原始模型的损失函数,假设叫 J,一部分是正则化项,假设叫 L。


这两部分有一个占比的区别。比如你希望 J 占比 80%,L 占比 20%,那么整个式子就是 0.8J + 0.2L。


但是,J 和 L 的占比前面的两个系数,其实可以合成一个系数。同样是 80% 的 J 和 20% 的 L,我们可以写成 4J + L,也可以写成 J + 0.25L。这两个式子都是 J 的占比是 L 的占比的 4 倍(想想为什么?)。但是前者把 L 的系数化为了 1,后者把 J 前面的系数化为了 1。使得整个式子从两个参数变成了一个参数。


更一般性的,如果 J 前面的系数是 1,我们写成 J + aL。这就是上一章的正则化的式子。我们只需要决定 a 就好。

如果 L 前面的系数是 1,我们写成 CJ + L,这就是这一章正则化的式子,我们只需要决定 C 就好。


继续加油!:)

0
3
亨heng
非常感谢!
2021-11-12
共3条回复

Python3入门机器学习 经典算法与应用  

Python3+sklearn,兼顾原理、算法底层实现和框架使用。

5839 学习 · 2437 问题

查看课程