線性迴歸2-正交回歸(使用點到直線的距離公式)

另一種推導方法-點到直線的距離公式

從幾何意義上理解正交回歸，就是找一條直線，使得點到直線的距離平方之和最小。所以如果用點到直線的距離公式當做目標函數，最後擬合的結果應該與正交回歸得出的結果相同。下面繼續推導，做一下驗證。

目標函數

同樣假設直線方程爲$y=ax+b$，則點$(x_i,y_i)$到直線的距離爲：
$d_i=\dfrac{|ax_i-y+b|}{\sqrt{a^2+1}}$
這時，目標函數可以寫成：
$\bm{J}_2=\sum d_i^2=\sum\dfrac{(ax_i-y+b)^2}{a^2+1}$

推導過程

目標函數$\bm{J}_2$對$b$求導：

$\dfrac{\partial \bm{J}_2}{\partial b}=\dfrac{1}{a^2+1}\sum(2b+2ax_i-2y_i)$
令$\dfrac{\partial \bm{J}_2}{\partial b}=0$，解得：
$b=\bar{y}-a\bar{x}$

目標函數$\bm{J}_2$對$a$求導：

$\dfrac{\partial \bm{J}_2}{\partial a}=\sum\dfrac{-2a}{(a^2+1)^2}(ax_i-y_i+b)^2+\sum\dfrac{2x_i}{a^2+1}(ax_i-y_i+b)$
令$\dfrac{\partial \bm{J}_2}{\partial a}=0$，並化簡得：
$\sum -a(ax_i-y_i+b)^2+\sum x_i(ax_i-y_i+b)(a^2+1)=0$
將$b=\bar{y}-a\bar{x}$帶入，並化簡得：
$\begin{aligned} 0=\quad &a^3\sum(-\bar{x}^2+x_i\bar{x})\\ +&a^2\sum(2x_iy_i-2x_i\bar{y}+2\bar{x}\bar{y}-2y_i\bar{x}-x_iy_i+x_i\bar{y})\\ +&a\sum(-y_i^2-\bar{y}^2+2y_i\bar{y}-x_i\bar{x}+x_i^2)\\ +&\sum(x_i\bar{y}-x_iy_i) \end{aligned}$
最後化簡得：
$a^2(\bm{s}_{xy})+a(-\bm{s}_{yy}+\bm{s}_{xx})-\bm{s}_{xy}=0$
這與上一節得出的結果一致。