机器学习系列10:线性回归与逻辑回归的正则化

HandsomeFuHS 2019-05-28

机器学习系列10:线性回归与逻辑回归的正则化

线性回归的正则化

还记得在线性回归中我们有哪两种方法去求代价函数的最小值吗?当然是梯度下降和正规方程了。让我们来复习一下线性回归中梯度下降算法,如下:

机器学习系列10:线性回归与逻辑回归的正则化

其中黄色部分就是代价函数对参数 θ 的偏导数。当我们正则化代价函数后,代价函数发生了改变:

机器学习系列10:线性回归与逻辑回归的正则化

相应地,偏导数也会改变,得到正则化后的梯度下降算法:

机器学习系列10:线性回归与逻辑回归的正则化

把其中的 θ_j 提出来,简化后:

机器学习系列10:线性回归与逻辑回归的正则化

那正规方程正则化后呢?就成了下面这样:

机器学习系列10:线性回归与逻辑回归的正则化

逻辑回归的正则化

逻辑回归的代价函数为:

机器学习系列10:线性回归与逻辑回归的正则化

与线性回归的正则化类似,逻辑回归的正则化就是在逻辑回归的代价函数中加入对参数的惩罚:

机器学习系列10:线性回归与逻辑回归的正则化

正则化后得到的梯度下降算法与线性回归中非常像,只是假设函数不同而已。

机器学习系列10:线性回归与逻辑回归的正则化

相关推荐