您如何描述梯度下降和正规方程之间的差异作为拟合线性回归的两种方法？

首先让我们了解它是什么 Linear Regression

线性回归：

回归是一种基于独立预测因子x对目标值Y进行建模的方法。回归技术的不同主要取决于自变量的数量和自变量与因变量之间关系的类型。

简单线性回归模型

简单线性回归是一种回归分析，其中自变量数为1，自变量(X)和因变量(Y)之间存在线性关系。上图中的红线表示最佳拟合线，该线的方程称为Hypothesis Function。

Y = w0 + w1*X ` ## Linear Equation

其中w0和w1是我们需要优化的权重，这样我们才能最合适的线来减少损失。

梯度下降法是利用迭代法求出w0和w1的值，使总损失最小化的方法

梯度下降：

梯度下降法是一种求函数最小值的一阶迭代优化算法。要使用梯度下降法找到函数的局部最小值，需要采取与函数在当前点的梯度(或近似梯度)的负值成正比的步骤。如果一个人采取与梯度的正值成正比的步骤，那么他就会接近该函数的局部最大值;这个过程被称为梯度上升。

线性函数的损失函数是二次方程1/2(y_- y_real)**2，其形状如下所示

凸函数只有一个最小值。因为w的值是最小的。利用w的每个值求最小代价是一个非常耗时的过程，更好的方法是梯度下降法

梯度下降算法在负梯度方向上迈出一步，以尽可能快地减少损失。

为了确定损失函数曲线上的下一点，梯度下降算法将梯度幅度的一部分加到起点上，如下图所示:

之后，它将计算该点的成本函数的导数，该导数定义了我们需要移动哪个方向以降低成本。

然后梯度下降重复这个过程，越来越接近最小值。

建立一个直观的图像，显示如何拟合一条直线，以找到(全局)函数的最小值(成本函数)。

下面是我用来解释Hypothesis function当我们达到全局最小成本函数时如何尝试拟合点的图表。

正规方程：

正规方程是另一种寻找全局最小值或成本最小的权重（W）的方法。

• 对于一些线性回归问题，Normal方程提供了更好的解。
• 梯度下降是迭代过程，而正规方程是W解析解。

正规方程的基本步骤如下。

• 对Cost functionwrt求导 w.r.t to W
• 将导数设为0。
• 解出W的值，使Cost function最小化

实现正规方程

举个例子

1. 添加一个额外的列（x0特征）
2. 构造一个矩阵（X - the design matrix），其中包含矩阵中的所有训练数据特征[m x n+1]。
3. 对 Y做类似处理
4. 构造列向量y [m x 1]矩阵
5. 使用以下等式 (X transpose * X) inverse times X transpose Y.
6. W = (X_transpose*X)inverse*X_transpose*Y
7. 如果您计算上述等式，您将获得W最小化成本函数的值。

梯度下降与正规方程的比较

Gradient下降和Normal Equation的基础比较