机器视觉学习笔记：理解机器学习中的梯度反方向

当初学习机器学习算法的时候，接触到了梯度下降的方法，它经常作为训练器的训练算法，因为梯度反方向是局部下降最快的，很容易收敛。应注意的是，很多人认为梯度反方向是下降最快的，这种说法和理解是片面的，不准确的，它只是局部最快，而不是全局最快，因此我们可以观察到，很多机器学习算法常会陷于局部最优，例如BP神经网络算法。

要理解梯度，首先要从方向导数入手，我们之前学的偏导数指的是多元函数沿坐标轴的变化率，但是我们经常关心的是多元函数沿任意方法的变化率，那么就引出了方向导数。

我们把f(x+Dx,y+Dy)-f(x,y)的值Value1与PP1的距离value2的比值的极值叫做沿PP1的方向导数。

对于三维空间也是一样，方向导数就是研究在某一点处的任意方向的变化率与方向导数不同，梯度不是一个值，而是一个向量，那这个向量是什么特殊的向量呢？那就是梯度代表的是各个导数中，变化趋势最大的那个方向。

定义如下：

那么梯度与方向的导数的关系如下：

由此，可得，但只有当Θ为0度的时候，方向导数最大，Θ为180度时，方向导数负最大，所以说梯度反方向是函数局部领域下降最快的。