通過投影矩陣推導最小二乘法

最小二乘用於參數擬合,說它是統計中最重要的公式都不爲過,其線性推導如下。

對於一個公式其中A爲已知數據組成的列空間,x爲待估計參數,b是x的線性組合。然而,在很多情況下,由於誤差或其它原因,使得b不再A的列空間中,這會造成方程無解。於是必須將b投影到A的列空間。其投影的誤差爲, 其中“x帽"爲當b投影到A的列空間後的估計參數,當的值最小時矩陣e應該位於與A垂直的空間的列空間(這裏畫幾條線段就很好理解),所以有。將式子展開後有,所以參數求解的最小二乘公式爲:



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章