證明 總偏差平方和 = 迴歸平方和 + 殘差平方和

線性迴歸中有這樣一條性質：
$總偏差平方和 (SST) = 迴歸平方和（SSR） + 殘差平方和（SSE）$

即：
$\sum(y_i-\overline y)^2=\sum(\hat y_i-\overline y)^2+\sum(y_i-\overline y)^2\tag{1}$

證明：下面以一元迴歸爲例證明。
$\begin{aligned} \sum(y_i-\overline y)^2&=\sum(y_i-\hat y_i+\hat y_i-\overline y)^2\\ &=\sum(y_i-\hat y_i)^2+\sum(\hat y_i-\overline y)^2+2\sum(y_i-\hat y_i)(\hat y_i-\overline y)\\ \end{aligned}$

因此，我們需要證明 $\sum(y_i-\hat y_i)(\hat y_i-\overline y)=0$.

$\begin{aligned} \sum(y_i-\hat y_i)(\hat y_i-\overline y)&=\sum(y_i-\hat y_i)\hat y_i-\overline y\sum (y_i-\hat y_i)\\ \end{aligned}\tag{2}$

根據最小二乘法，若迴歸方程爲：$y=\beta_0+\beta_1x$，優化目標是使得 $f=\sum (y_i-\beta_0+\beta_1x_i)^2$最小，通過令一階導數 $f$ 爲零計算 $\beta_0, \beta_1$：
$\begin{aligned} \frac{\partial f}{\partial \beta_0}=-2\sum(y_i-\beta_0+\beta_1x_i)=0 \end{aligned}$
由於 $\hat y_i=\beta_0+\beta_1x_i$，所以
$\sum (y_i-\hat y_i)=0\tag{3}$

又因爲：
$\begin{aligned} \frac{\partial f}{\partial \beta_1}=2\sum x_i(y_i-\beta_0+\beta_1x_i)=0 \end{aligned}$

所以，
$\sum (\beta_0+\beta_1x_i)(y_i-\beta_0+\beta_1x_i)=\sum\hat y_i(\hat y_i-y_i)=0\tag{4}$

綜合表達式 （2）,（3）,（4），表達式（1）成立。因此：
$總偏差平方和 (SST) = 迴歸平方和（SSR） + 殘差平方和（SSE）$
$\Box$