最小二乘法-矩陣求導求解

轉載來自：http://blog.csdn.net/acdreamers/article/details/44662633

關於最小二乘問題的求解，之前已有梯度下降法，還有比較快速的牛頓迭代。今天來介紹一種方法，是基於矩陣求導來計算的，它的計算方式更加簡潔高效，不需要大量迭代，只需解一個正規方程組。在開始之前，首先來認識一個概念和一些用到的定理。矩陣的跡定義如下

一個的矩陣的跡是指的主對角線上各元素的總和，記作。即     

 

 

                        

             

 好了，有了上述7個定理，就可以來求最小二乘解了。設

 

  

那麼進一步得到

    

 接下來會涉及到矩陣求導，因爲

    

那麼進一步利用矩陣求導並利用上述定理，得到

 

    

 我們知道在極值點處梯度值爲零，即 ：

    

上述得到的方程組叫做正規方程組，那麼最終得到

    

這樣最小二乘問題只需解一個線性方程組即可，不再需要像梯度下降那樣迭代了。

既然說到了正規方程組，在介紹一種方程組，叫做超定方程組，它的定義爲：把方程個數大於未知量個數的方程組叫做超定方程組。通常來說，對於一個超定方程組來說，求最小二乘解只需要兩邊同時乘的轉置，然後得到正規方程組，然後解這個方程就得到了最小二乘解。