HandsomeFuHS 2019-05-28
机器学习系列10:线性回归与逻辑回归的正则化
线性回归的正则化
还记得在线性回归中我们有哪两种方法去求代价函数的最小值吗?当然是梯度下降和正规方程了。让我们来复习一下线性回归中梯度下降算法,如下:
其中黄色部分就是代价函数对参数 θ 的偏导数。当我们正则化代价函数后,代价函数发生了改变:
相应地,偏导数也会改变,得到正则化后的梯度下降算法:
把其中的 θ_j 提出来,简化后:
那正规方程正则化后呢?就成了下面这样:
逻辑回归的正则化
逻辑回归的代价函数为:
与线性回归的正则化类似,逻辑回归的正则化就是在逻辑回归的代价函数中加入对参数的惩罚:
正则化后得到的梯度下降算法与线性回归中非常像,只是假设函数不同而已。