第十二章 多元線性迴歸

1 多元線性迴歸模型

1 多元迴歸模型與迴歸方程

多元迴歸模型：
y=β 0 +β 1 x 1 +β 2 x 2 +...+β k x k +ε 
多元迴歸方程：
E(y)=β 0 +β 1 x 1 +β 2 x 2 +...+β k x k  

2 估計的多元迴歸方程

估計的多元迴歸方程：
y ^ =β 0  ^ +β 1  ^ x 1 +β 2  ^ x 2 +...+β k  ^ x k  

3 參數的最小二乘估計

迴歸方程中的參數根據最小二乘法求得，即殘差平方和最小，即
Q=∑(y i −y i  ^ ) 2 =∑(y i −β 0  ^ −β 1  ^ x 1 −β 2  ^ x 2 −...−β k  ^ x k ) 

2 迴歸方程的擬合優度

1 多重判定係數

與一元迴歸中相同，多重回歸係數是迴歸平方和佔總平方和的比例。但自變量的個數的增加時，會使預測誤差變小，從而減小殘差平方和SSE，R 2   也會變大。即如果模型中增加自變量，即使這個自變量在統計上不顯著，R 2   也會變大。因此提出用樣本量n  和自變量的個數k  去調整R 2   ，計算出調整的多重判定係數，公式爲：
R 2 α =1−(1−R 2 )(n−1n−k−1 ) 
R 2   的平方根稱爲多重相關係數，也稱復相關係數，度量因變量同k  個自變量的關係。

2 估計標準誤差

同一元迴歸一樣，多元迴歸中的估計標準誤差也是對誤差項ε  的方差σ 2   的一個估計值，計算公式爲：
s e =∑(y i −y i  ^ ) 2 n−k−1  − − − − − − − − − −  √ =SSEn−k−1  − − − − − − − −  √ =MSE − − − − −  √  
含義：根據自變量x 1 ,x 2 ,...,x k   來預測因變量y  時的平均預測誤差。

3 顯著性檢驗

1 線性關係檢驗

主要檢驗因變量同多個自變量的線性關係，在k  個自變量中，只要有一個自變量與因變量的關係顯著即可。步驟爲：
(1) 提出假設
H 0 :β 1 =β 2 =...=β k =0 
H 1 :β 1 ,β 2 ,...,β k   至少有一個不等於0
(2) 計算統計量
F=SSR/kSSE/(n−k−1) ∼F(k,n−k−1) 
(3) 作出統計決策
若F>F α   ，則拒絕原假設；若F<F α   ，則不拒絕原假設；

2 迴歸係數檢驗和推斷

方法同一元迴歸類似：
(1) 提出假設。對任意參數β i (i=1,2,...,k)  ，有
H 0 :β i =0H 1 :β i ≠0 
(2) 計算統計量
t i =β i  ^ s β i  ^   ∼t(n−k−1) 
(3) 做出統計決策

4 多重共線性

1 多重共線性及其所產生的問題

當迴歸模型中兩個或兩個以上的自變量彼此相關時，則稱迴歸模型中存在多重共線性。
多重共線性產生的問題：
(1) 變量之間高度相關時，可能會使迴歸結果造成混亂，甚至會把分析引入歧途。
(2) 多重共線性可能對參數估計值的正負號產生影響。

2 多重共線性的判別

如果出現以下情況，則可能存在多重共線性：
(1) 模型中各對自變量之間顯著相關
(2) 當模型中線性關係檢驗(F檢驗)顯著時，幾乎所有迴歸係數β i   的t  檢驗卻不顯著
(3) 迴歸係數的正負號與預期的相反

3 多重共線性問題的處理

根據多重共線性的嚴重程度，選擇相應的方法：
(1) 將一個或多個相關的自變量從模型中剔除，使保留的自變量儘可能不相關
(2) 如果要在模型中保留所有的自變量，那就應該：
a.避免根據t  統計量對單個參數β  進行檢驗
b.對因變量y  值的推斷（估計或預測）限定在自變量樣本值的範圍內

5 利用迴歸方程進行預測

多依賴於軟件

6 變量選擇與逐步迴歸

如果在建立模型之前就能對所收集到的自變量進行一定的篩選，去掉那些不必要的自變量，這樣，不僅使建立模型變得容易，也使得模型更具有可操作性，也更容易解釋。

1 變量選擇過程

選擇自變量的原則通常是對統計量進行顯著性檢驗，根據是：將一個或一個以上的自變量引入迴歸模型中時，是否使殘差平方和（SSE）有顯著減少。殘差平方和是否減少可引入統計量F。
變量選擇的方法主要有：向前選擇、向後剔除、逐步迴歸、最優子集

2 向前選擇

向前選擇法是從模型中沒有自變量開始，然後按照下列步驟選擇自變量來擬合模型。
(1) 對k  個自變量分別擬合對因變量y  的一元線性迴歸模型，找出F統計量最高的模型及其自變量，將其引入模型。
(2) 在已引入x i   的基礎上，考慮剩下k−1  個線性迴歸模型，選出最優，反覆進行，直至模型外的自變量均無統計顯著性爲止。

3 向後剔除

與向前選擇法相反，其基本過程爲：
(1) 先對因變量擬合包括所有k個自變量的線性迴歸模型，然後考慮去掉一個自變量的模型，使得模型的SSE值減小最小的自變量從模型中剔除。
(2) 對剩下的變量進行擬合，再重複(1)，直至剔除一個自變量不會使SSE顯著減小爲止。

4 逐步迴歸

向前選擇法和向後剔除法的結合，逐步迴歸過程就是向前選擇方法不停地添加變量並考慮剔除以前增加的變量的可能性，直至增加變量已經不能導致SSE顯著減少。