- Normal equation

       到眼下为止，线性回归问题中都在使用梯度下降算法，但对于某些线性回归问题，正规方程方法是更好的解决方式。

       正规方程就是通过求解例如以下方程来解析的找出使得代价函数最小的參数：

      

       如果我们的训练集特征矩阵为X，我们的训练集结果为向量y，则利用正规方程解出向量：

      

       下面表所看到的的数据为例：

      

       运用正规方程方法求解參数为：

      

       注意：对于那些不可逆的矩阵（一般是由于特征之间相互不独立，如同一时候包括英尺为单位的尺寸和米为单位的尺寸两个特征，或者是由于特征数量大于训练集的数量），正规方程的方法是不可用的。

       梯度下降与正规方程的比較例如以下所看到的：