“在逻辑回归中使用正则化”
来源:9-7 scikit-learn中的逻辑回归
亨heng
2021-11-11
老师,这节里的“在逻辑回归中使用正则化”里,sklearn和上一章我们学的正则化方式的区别不是很明白,麻烦老师再梳理一下呗🧐🥳
写回答
1回答
-
我不很确定你不理解的点在哪里。如果下面的解释还有疑问,请补充说明一下自己具体不理解的点。
简单来说,正则化一个模型,所对应的最优化的式子,有两部分,一部分是原始模型的损失函数,假设叫 J,一部分是正则化项,假设叫 L。
这两部分有一个占比的区别。比如你希望 J 占比 80%,L 占比 20%,那么整个式子就是 0.8J + 0.2L。
但是,J 和 L 的占比前面的两个系数,其实可以合成一个系数。同样是 80% 的 J 和 20% 的 L,我们可以写成 4J + L,也可以写成 J + 0.25L。这两个式子都是 J 的占比是 L 的占比的 4 倍(想想为什么?)。但是前者把 L 的系数化为了 1,后者把 J 前面的系数化为了 1。使得整个式子从两个参数变成了一个参数。
更一般性的,如果 J 前面的系数是 1,我们写成 J + aL。这就是上一章的正则化的式子。我们只需要决定 a 就好。
如果 L 前面的系数是 1,我们写成 CJ + L,这就是这一章正则化的式子,我们只需要决定 C 就好。
继续加油!:)
032021-11-12
相似问题