机器视觉学习笔记:理解机器学习中的梯度反方向

qinrui 2019-07-29

当初学习机器学习算法的时候,接触到了梯度下降的方法,它经常作为训练器的训练算法,因为梯度反方向是局部下降最快的,很容易收敛。应注意的是,很多人认为梯度反方向是下降最快的,这种说法和理解是片面的,不准确的,它只是局部最快,而不是全局最快,因此我们可以观察到,很多机器学习算法常会陷于局部最优,例如BP神经网络算法。

要理解梯度,首先要从方向导数入手,我们之前学的偏导数指的是多元函数沿坐标轴的变化率,但是我们经常关心的是多元函数沿任意方法的变化率,那么就引出了方向导数。

机器视觉学习笔记:理解机器学习中的梯度反方向

我们把f(x+Dx,y+Dy)-f(x,y)的值Value1与PP1的距离value2的比值的极值叫做沿PP1的方向导数。

机器视觉学习笔记:理解机器学习中的梯度反方向

对于三维空间也是一样,方向导数就是研究在某一点处的任意方向的变化率与方向导数不同,梯度不是一个值,而是一个向量,那这个向量是什么特殊的向量呢?那就是梯度代表的是各个导数中,变化趋势最大的那个方向。

定义如下:

机器视觉学习笔记:理解机器学习中的梯度反方向

机器视觉学习笔记:理解机器学习中的梯度反方向

那么梯度与方向的导数的关系如下:

机器视觉学习笔记:理解机器学习中的梯度反方向

由此,可得,但只有当Θ为0度的时候,方向导数最大,Θ为180度时,方向导数负最大,所以说梯度反方向是函数局部领域下降最快的。

相关推荐