机器学习算法 --- 逻辑回归及梯度下降

人生补习班 2018-05-09

一、逻辑回归简介

logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。

logistic回归是一种广义线性回归(generalized linear model),因此与多重线性回归分析有很多相同之处。

其公式如下:

机器学习算法 --- 逻辑回归及梯度下降

其图像如下:

机器学习算法 --- 逻辑回归及梯度下降

我们通过观察上面的图像可以发现,逻辑回归的值域为(0, 1),当输入为0时,其输出为0.5;当输入小于0,并且越来越小时,其输出越来越接近于0;相反的,当其输入大于0,并且越来越大时,其输出越来越接近于1。

通常我们使用线性回归来预测值,但逻辑回归随有“回归”二字,却通常是用来解决二分类问题的。

当其输出大于0.5时,我们可以认为该样本属于甲类;小于0.5时,认为该样本属于已类。

但是由于一个样本数据通常会有多个特征,我们不能将其直接带入logistic回归公式中,所以,就需要借助之前所介绍的线性回归,使该样本的多个特征值生成一个特定的值,在带入公式中,对其分类,所以z的表达式如下:

机器学习算法 --- 逻辑回归及梯度下降

即可得到对于一个数据关于逻辑回归的详细表达式:

机器学习算法 --- 逻辑回归及梯度下降

通过上式,我们就可以对一个任意数据进行逻辑回归分析了,但是这当中存在一个问题,即关于θ的取值,只有公式中的θ已知,我们才能对一个未分类的数据运用此公式,那么该如何求得θ呢?

请看下面的公式推导。

二、Logistic Regression公式推导

在上面,我们得到机器学习算法 --- 逻辑回归及梯度下降后,需要求得θ,关于如何求得θ,将在此进行详细分析。

通常在机器学习中,我们常常有一个过程叫训练,所谓训练,即通过已知分类(或标签)的数据,求得一个模型(或分离器),然后使用这个模型对未知标签的数据打上标签(或者对其进行分类)。

所以,我们使用样本(即已知分类的数据),进行一系列的估算,得到θ。这个过程在概率论中叫做参数估计。

在此,我们将使用极大似然估计的推导过程,求得关于计算θ的公式:

(1) 首先我们令:

机器学习算法 --- 逻辑回归及梯度下降

(2) 将上述两式整合:

机器学习算法 --- 逻辑回归及梯度下降

(3) 求其似然函数:

机器学习算法 --- 逻辑回归及梯度下降

(4) 对其似然函数求对数:

机器学习算法 --- 逻辑回归及梯度下降

(5) 当似然函数为最大值时,得到的θ即可认为是模型的参数。求似然函数的最大值,我们可以使用一种方法,梯度上升,但我们可以对似然函数稍作处理,使之变为梯度下降,然后使用梯度下降的思想来求解此问题,变换

的表达式如下:

机器学习算法 --- 逻辑回归及梯度下降(由于乘了一个负的系数,所以梯度上升变梯度下降。)

(6) 因为我们要使用当前的θ值通过更新得到新的θ值,所以我们需要知道θ更新的方向(即当前θ是加上一个数还是减去一个数离最终结果近),所以得到J(θ)后对其求导便可得到更新方向(为什么更新方向这么求?以及得到更新方向后为什么按照下面的式子处理?请看下方的梯度下降公式的演绎推导),求导过程如下:

机器学习算法 --- 逻辑回归及梯度下降

(7) 得到更新方向后便可使用下面的式子不断迭代更新得到最终结果。

机器学习算法 --- 逻辑回归及梯度下降

三、梯度下降公式的演绎推导

关于求解函数的最优解(极大值和极小值),在数学中我们一般会对函数求导,然后让导数等于0,获得方程,然后通过解方程直接得到结果。但是在机器学习中,我们的函数常常是多维高阶的,得到导数为0的方程后很难直接求解(有些时候甚至不能求解),所以就需要通过其他方法来获得这个结果,而梯度下降就是其中一种。

对于一个最简单的函数:机器学习算法 --- 逻辑回归及梯度下降, 我们该如何求出y最小是x的值呢(不通过解2x = 0的方法)?

机器学习算法 --- 逻辑回归及梯度下降

(1) 首先对x任取一个值,比如x = -4,可以得到一个y值。

机器学习算法 --- 逻辑回归及梯度下降

(2) 求得更新方向(如果不求更新方向对x更新,比如x-0.5,或x+0.5,得到图像如下)。

机器学习算法 --- 逻辑回归及梯度下降

可以发现,我们如果是向负方向更新x,那么我就偏离了最终的结果,此时我们应该向正方向更新,所以我们在对x更新前需要求得x的更新方向(这个更新方向不是固定的,应该根据当前值确定,比如当x=4时,应向负方向更新)

求其导函数在这一点的值,y' = 2x,x = -4, y' = -8,那么它的更新方向就是y',对x更新我们只需x:=x-α·y'(α(大于0)为更新步长,在机器学习中,我们叫它学习率)。

PS:之前说了是多维高阶方程,无法求解,而不是不能对其求导,所以可以对其求导,然后将当前x带入。

(3) 不断重复之前的(1),(2)步,直到x收敛。

梯度下降方法:

对于这个式子机器学习算法 --- 逻辑回归及梯度下降,如果:

(1) m是样本总数,即每次迭代更新考虑所有的样本,那么就叫做批量梯度下降(BGD),这种方法的特点是很容易求得全局最优解,但是当样本数目很多时,训练过程会很慢。当样本数量很少的时候使用它。

(2)当m = 1,即每次迭代更新只考虑一个样本,公式为机器学习算法 --- 逻辑回归及梯度下降,叫做随机梯度下降(SGD),这种方法的特点是训练速度快,但是准确度下降,并不是全局最优。比如对下列函数(当x=9.5时,最终求得是区部最优解):

机器学习算法 --- 逻辑回归及梯度下降

(3) 所以综上两种方法,当m为所有样本数量的一部分(比如m=10),即我们每次迭代更新考虑一小部分的样本,公式为机器学习算法 --- 逻辑回归及梯度下降,叫做小批量梯度下降(MBGD),它克服了上述两种方法的缺点而又兼顾它们的优点,在实际环境中最常被使用。

相关推荐