最小二乘用於參數擬合,說它是統計中最重要的公式都不爲過,其線性推導如下。
對於一個公式,其中A爲已知數據組成的列空間,x爲待估計參數,b是x的線性組合。然而,在很多情況下,由於誤差或其它原因,使得b不再A的列空間中,這會造成方程無解。於是必須將b投影到A的列空間。其投影的誤差爲, 其中“x帽"爲當b投影到A的列空間後的估計參數,當的值最小時矩陣e應該位於與A垂直的空間的列空間(這裏畫幾條線段就很好理解),所以有。將式子展開後有,所以參數求解的最小二乘公式爲:
最小二乘用於參數擬合,說它是統計中最重要的公式都不爲過,其線性推導如下。
對於一個公式,其中A爲已知數據組成的列空間,x爲待估計參數,b是x的線性組合。然而,在很多情況下,由於誤差或其它原因,使得b不再A的列空間中,這會造成方程無解。於是必須將b投影到A的列空間。其投影的誤差爲, 其中“x帽"爲當b投影到A的列空間後的估計參數,當的值最小時矩陣e應該位於與A垂直的空間的列空間(這裏畫幾條線段就很好理解),所以有。將式子展開後有,所以參數求解的最小二乘公式爲: