[線性模型總結] 線性迴歸+方差分析+協方差分析+混合效應+面板數據模型

線性模型

線性模型是一類統計模型的總稱，它包括了線性迴歸模型、方差分析模型、協方差分析模型和線性混合效應模型（或稱方差分量模型）等。許多生物、醫學、經濟、管理、地質、氣象、農業、工業、工程技術等領域的現象都可以用線性模型來近似描述。因此線性模型成爲現代統計學中應用最爲廣泛的模型之一。這裏將簡單介紹線性模型的基本理論和方法以及實際應用。

1. 線性迴歸模型

線性迴歸模型是最常見的一類線性模型，它的數學基礎是迴歸分析，即用迴歸分析方法建立線性模型，用以揭示經濟現象中的因果關係，被廣泛的應用於社會經濟現象變量之間的影響因素和關聯的研究。線性迴歸模型根據所涉及變量的多少不同，可以分爲簡單線性迴歸模型和多元線性迴歸模型。

1.1 一元線性迴歸模型

一元線性迴歸模型又稱爲簡單線性迴歸模型，是指兩個變量之間的迴歸。其一般形式爲：
$Y=\beta _0+\beta _1X+e$
其中，Y通常稱爲因變量或被解釋變量，X稱爲自變量或解釋變量。$\beta _0$和$\beta _1$爲模型的待估參數，e爲隨機誤差項。
對於一元線性迴歸模型，滿足如下基本假設：
（1）隨機誤差項e是一個期望值爲0的隨機向量，即$E\left( e \right) =0$。對於一個給定的X值，Y的期望值爲$E\left( Y \right) =\beta _0+\beta _1X$
（2）對於所有的X值，隨機誤差項e的方差都相同。即$Var\left( e_i \right) =\sigma ^2$
（3）誤差項e是一個服從正態分佈的隨機向量，且相互獨立。即$e\sim N\left( 0,\sigma ^2 \right)$

總體迴歸參數$\beta _0$和$\beta _1$是未知的，必須利用樣本數據去估計。用樣本統計量$\hat{\beta}_0$和$\hat{\beta}_1$代替迴歸方程中的未知參數。可以得到估計的迴歸方程爲：
$\hat{Y}=\hat{\beta}_0+\hat{\beta}_1X$
迴歸係數的確定可以運用最小二乘法估計迴歸係數。最小二乘法是使因變量的觀察值與估計值之間的離差平方和達到最小來求得$\beta _0$和$\beta _1$的方法。即
$Q\left( \hat{\beta}_0,\hat{\beta}_1 \right) =\sum_{i=1}^n{e_i^2=}\sum_{i=1}^n{\left( Y_i-\hat{Y}_i \right) ^2=}\sum_{i=1}^n{\left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_i \right) ^2=}\text{最小}$
由多元微分學可知，使Q達到最小的$\beta _0$和$\beta _1$必須滿足
$\left\{ \begin{array}{l} \frac{\partial Q}{\partial \beta _0}=-2\sum_{i=1}^n{\left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_i \right)}=0\\ \\ \frac{\partial Q}{\partial \beta _1}=-2\sum_{i=1}^n{\left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_i \right)}X_i=0\\ \end{array} \right.$
求解上述方程可解得：
$\left\{ \begin{array}{l} \hat{\beta}_1=\frac{n\sum{Y_iX_i-\sum{Y_i\sum{X_i}}}}{n\sum{X_i^2-\left( \sum{X_i} \right) ^2}}\\ \\ \hat{\beta}_0=\bar{Y}-\hat{\beta}_1\bar{X}\\ \end{array} \right.$
一元線性迴歸模型的統計檢驗主要包括擬合優度檢驗、變量的顯著性檢驗及參數檢驗的置信區間估計。

一、擬合優度檢驗

Y的觀測值圍繞其均值的總離差平方和可以分解爲兩個部分：一個部分來自迴歸線，另一部分則來自隨機勢力。因此，可用來自迴歸線的平方和ESS佔Y的總離差平方和TSS的比例來判斷樣本回歸線與樣本觀測值的擬合優度。因此根據上述關係可以用

$R^2=\frac{ESS}{TSS}=\frac{\sum_{i=1}^n{\left( \hat{Y}_i-\bar{Y} \right) ^2}}{\sum_{i=1}^n{\left( Y_i-\bar{Y} \right) ^2}}=1-\frac{\sum_{i=1}^n{\left( Y_i-\hat{Y} \right) ^2}}{\sum_{i=1}^n{\left( Y_i-\bar{Y} \right) ^2}}$
檢驗模型的擬合優度，其中$R^2$稱爲可決係數，反映迴歸直線的擬合程度，取值範圍在[0,1]之間。$R^2$越趨近於1，說明迴歸方程擬合程度越好；越靠近0，說明迴歸方程擬合程度越差。

二、變量的顯著性檢驗

變量的顯著性檢驗是對模型中解釋變量與被解釋變量之間的線性關係是否顯著成立作出推斷，或者說檢驗解釋變量是否對被解釋變量有顯著的線性影響。

（1） 迴歸係數的顯著性檢驗（t檢驗）
提出假設
$H_0\text{：}\beta _1=0\leftrightarrow H_1\text{：}\beta _1\ne 0$
計算檢驗統計量：
$t=\frac{\hat{\beta}_1}{S_{\hat{\beta}_1}}\sim t\left( n-2 \right)$
確定顯著性水平α，得到一個臨界值$t_{\frac{\alpha}{2}}\left( n-2 \right)$，並進行決策。

若$\left| t \right|>t_{\frac{\alpha}{2}}\left( n-2 \right)$，則在α的顯著性水平下拒絕原假設$H_0$，即變量X是顯著的，通過變量的顯著性檢驗；若$\left| t \right|<t_{\frac{\alpha}{2}}\left( n-2 \right)$，則在顯著性水平α下拒絕原假設$H_0$，表明變量是不顯著的，未通過變量的顯著性檢驗。

（2） 迴歸方程的顯著性檢驗（F檢驗）
提出假設：
$H_0\text{：線性關係不顯著}$
計算檢驗統計量F：
$F=\frac{ESS/1}{RSS/\left( n-2 \right)}=\frac{\sum_{i=1}^n{\left( \hat{Y}_i-\bar{Y} \right)}^2/1}{\sum_{i=1}^n{\left( Y_i-\hat{Y}_i \right) ^2/\left( n-2 \right)}}~F\left( 1,n-2 \right)$

確定顯著性水平α，並根據分子自由度1和分母自由度n-2找出臨界值$F_{\alpha}\left( 1,n-2 \right)$作出決策：若$F>F_{\alpha}\left( 1,n-2 \right)$拒絕$H_0$；若$F<F_α (1,n-2)$，不拒絕$H_0$；

1.2 多元線性迴歸模型

在實際應用中，由於經濟現象的複雜性，一個被解釋變量往往受多個解釋變量的影響，多元迴歸模型就是在方程中有兩個或兩個以上自變量的線性迴歸模型。因此多元線性迴歸模型也稱爲複雜線性迴歸模型，它是一元線性迴歸模型的推廣，研究的是一組自變量如何直接影響一個因變量。

多元線性迴歸模型的基本形式如下：
$Y=\beta _0+\beta _1X_1+\cdots +\beta _kX_k+e$
其中Y爲因變量或被解釋變量；$X_i$爲自變量或解釋變量； $\beta _0,\beta _1,\cdots ,\beta _k$稱爲待估計的未知參數；e爲隨機誤差。

假定有n組觀測值$\{X_{i1},X_{i2},\cdots ,X_{i,\text{k}},Y_i:\left( i=1,\cdots ,n \right) \}$，其方程形式滿足：
$Y_i=\beta _0+\beta _1X_{i1}+\beta _2X_{i2}+\cdots +\beta _kX_{ik}+e_i,\left( i=1,2,\cdots ,n \right)$
即：
$\left\{ \begin{array}{l} Y_1=\beta _0+\beta _1X_{11}+\beta _2X_{12}+\cdots +\beta _kX_{1k}+e_1\\ \\ Y_2=\beta _0+\beta _1X_{21}+\beta _2X_{22}+\cdots +\beta _kX_{2k}+e_2\\ \cdots\\ \\ Y_n=\beta _0+\beta _1X_{n1}+\beta _2X_{n2}+\cdots +\beta _kX_{nk}+e_n\\ \end{array} \right.$
其矩陣形式爲：
$\left( \begin{array}{c} Y_1\\ Y_2\\ \vdots\\ Y_n\\ \end{array} \right) =\left( \begin{matrix} 1& X_{11}& \cdots& X_{1k}\\ 1& X_{21}& \cdots& X_{2k}\\ \vdots& \vdots& & \vdots\\ 1& X_{n1}& \cdots& X_{nk}\\ \end{matrix} \right) \left( \begin{array}{c} \beta _0\\ \beta _1\\ \vdots\\ \beta _k\\ \end{array} \right) +\left( \begin{array}{c} e_1\\ e_2\\ \vdots\\ e_n\\ \end{array} \right)$
等價地 Y=Xβ+e
這裏$Y_{\left( n×1 \right)}$爲被解釋變量的觀測值向量；$X_{\left( n×\left( k+1 \right) \right)}$爲解釋變量的觀測值矩陣，通常稱爲設計矩陣；$\beta _{\left( \left( k+1 \right) ×1 \right)}$爲未知參數向量，其中 稱爲常數項；$e_{\left( n×1 \right)}$爲隨機誤差向量。

爲使參數估計量具有良好的統計性質，多元線性迴歸模型的觀測數據和殘差需滿足如下的假定條件。
（1） 因變量Y是服從正態分佈的連續型隨機變量。
（2） k個自變量在所抽取的樣本中具有變異性，並且爲固定變量，即非隨機的或無度量的變量。
（3） k個自變量之間不存在多重共線性。
（4） k個自變量與隨機誤差項項相互獨立，即：
$Cov\left( e_i,X_j \right) =E\left( X_je_i \right) =0,j=1,2,\cdots ,k$
（5） 隨機誤差項均值爲零$E\left( e_i \right) =0$，具有等方差$Var\left( e_i \right) =\sigma ^2\text{，}i=1,\cdots ,n$
（6） 隨機誤差項彼此不相關，即：
$Cov\left( e_i,e_j \right) =0\text{，}i\ne j\text{，}i,j=1,\cdots ,n$
（7） 隨機誤差項滿足正態分佈：
$e_i\sim N\left( 0,\sigma ^2 \right)$
因此模型可以用矩陣形式表示爲最基本的線性迴歸模型：
$Y=X\beta +e\text{，}E\left( e \right) =0\text{，}Cov\left( e \right) =\sigma ^2I$

由最小二乘法可知$\hat{\beta}_0,\hat{\beta}_1,\cdots \hat{\beta}_k$應使全部觀測值$Y_i$與迴歸值$\hat{Y}_i$的殘差 $e_i$的平方和最小，即使：
$Q\left( \hat{\beta}_0,\hat{\beta}_1,\cdots \hat{\beta}_k \right) =\sum{e_i^2} =\sum{\left( Y_i-\hat{Y}_i \right) ^2=\sum{\left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_{i1}-\cdots -\hat{\beta}_kX_{ik} \right) ^2}}$
取得最小值。根據多元函數極值原理，Q分別對$\hat{\beta}_0,\hat{\beta}_1,\cdots \hat{\beta}_k$求一階偏導，並令其爲0，可得到待估參數估計值的正規方程。
$\frac{\partial Q}{\partial \hat{\beta}_j}=0\ \ \ \left( j=0,1,\cdots ,k \right)$
求解的參數的最小二乘估計值爲
$\hat{\beta}=\left( X'X \right) ^{-1}X'Y$

多元線性迴歸模型的統計檢驗

一、擬合優度檢驗

在多元線性迴歸模型中，也可以用可決係數$R^2$來衡量樣本回歸線對樣本觀測值的擬合優度。根據多元線性和迴歸模型可以將總離差平方和TSS分解爲迴歸平方和SSE以及殘差平方和SSR兩個部分，即
$\sum{\left( Y_i-\bar{Y} \right) ^2}=\sum{\left( \hat{Y}_i-\bar{Y} \right)}^2+\sum{\left( Y_i-\hat{Y}_i \right) ^2}$
因此在多元線性迴歸中，定義可決係數爲：
$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$
$R^2$ 作爲檢驗迴歸方程與樣本值擬合優度的指標， $R^2\left( 0\le R^2\le 1 \right)$越大，表示迴歸方程與樣本值擬合的越好；反之，迴歸方程與樣本值擬合的較差。

在現實應用過程中，如果在模型中增加一個解釋變量，$R^2$往往增大，而由增加解釋變量個數引起的$R^2$的增大與擬合好壞無關，因此在多元迴歸模型之間比較擬合優度，R^2就不是一個合適的指標，必須加以調整。將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數對擬合優度的影響。記爲調整的可決係數，則有
$\bar{R}^2=1-\frac{SSR/\left( n-p-1 \right)}{SST/\left( n-1 \right)}$

二、 方程顯著性的F檢驗

迴歸方程總體線性的顯著性檢驗是對模型中被解釋變量與解釋變量之間的線性關係在總體上是否顯著成立作出推斷。即檢驗模型

$Y_i=\beta _0+\beta _1X_{i1}+\cdots +\beta _kX_{ik}+e_i$
中參數$\beta _0,\beta _1,\cdots ,\beta _k$是否顯著不爲零。因此提出假設問題
$H_0\text{：}\beta _1=0,\beta _2=0,\cdots ,\beta _k=0- H_1\text{：}\beta _j\left( j=1,2,\cdots ,k \right) \text{不全爲零}$
在$H_0$成立的條件下，計算統計量F$F=\frac{SSR/k}{SSE/\left( n-k-1 \right)}~F\left( k,n-k-1 \right)$
對於假設$H_0$，根據樣本觀測值計算統計量F，給定顯著性水平α，得出臨界值$F_{\alpha}\left( k,n-k-1 \right)$。當$F\ge F_{\alpha}\left( k,n-k-1 \right)$時，拒絕$H_0$，則認爲迴歸方程顯著成立；當$F<F_{\alpha}\left( k,n-k-1 \right)$時，接受$H_0$，則認爲迴歸方程無顯著意義。

三、 參數顯著性檢驗（t檢驗）

在多元線性迴歸中，迴歸方程顯著並不意味着每個自變量對因變量的影響都顯著，因此就需要對每個自變量進行顯著性檢驗。顯然，如果某個自變量X對Y的作用不顯著，那麼它在迴歸模型中，其前面的係數可取值爲零。
爲此提出假設
$H_0\text{：}\beta _j=0\leftrightarrow H_1\text{：}\beta _j\ne 0$
計算檢驗統計量t
$t=\frac{\hat{\beta}_j}{\sqrt{c_{jj}}\hat{\sigma}}$
其中，$c_{jj}=\left( X'X \right) ^{-1}$，$\hat{\sigma}=\sqrt{SSE/\left( n-k-1 \right)}$是迴歸標準差。

當原假設成立時，上述t統計量服從自由度爲n-k-1的t分佈。給定顯著性水平α，可以得出臨界值$t_{\frac{\alpha}{2}}\left( n-k-1 \right)$。當$\left| t \right|>t_{\frac{\alpha}{2}}\left( n-k-1 \right)$時，拒絕原假設 ，認爲$β_j$顯著不爲零，自變量$X_j$對因變量Y的線性效果顯著；否則認爲$β_j$顯著爲零，自變量$X_j$對因變量Y的線性效果不顯著。

2. 方差分析模型

方差分析模型(variance analysis model)又稱實驗設計模型，是一種特殊的線性模型。
在線性迴歸模型中，所涉及的自變量一般來說都可以是連續變量，研究的基本目的是尋求因變量與自變量之間客觀存在的依賴關係。而方差分析模型的自變量爲示性變量，這種變量往往表示某種效應大小的存在與否，只能取0或1。因此在實際問題中，方差分析模型是比較兩個或多個因素效應大小的一種有力工具，廣泛應用於工業、農業、經濟、生物、醫學等領域。

2.1 方差分析模型概述

在實際應用中，常常需要判斷幾組觀察到的數據或者處理的結果是否存在顯著差異。
而方差分析模型就是用於檢驗兩組或者兩組以上樣本的均值是否具備顯著性差異的一種有效的數理統計方法。

一、分析模型中涉及的一些基本概念：
（1）因變量（Dependent）：試驗結果，通常用y表示，爲一個隨機變量；
（2）因素（Factor）：在試驗中影響因變量的自變量，也稱爲因子，常用大寫字母A、B、C表示；
（3）水平：爲了研究自變量對因變量的影響，需要考慮自變量兩個或多個不同的取值情況，這些取值稱爲因子的水平，例如因子A的r個不同水平表示爲 $A_1,A_2,\cdots ,A_r$。
（4）試驗條件（也稱處理）：在單因子試驗中，每個水平就是一個處理，在多因子試驗中，每個因子取一個特定的水平，這些特定水平的組合稱其爲一個試驗條件，又稱爲一個處理。

二、方差分析模型有三個基本的假定：
（1）正態性：每個總體都應服從正態分佈，即對於因子的每一個水平，其觀測值是來自正態分佈總體的簡單隨機樣本；
（2）獨立性：每個樣本數據是來自因子各水平獨立的樣本
（3）方差齊性：各個總體的方差 $\sigma ^2$必須相同。
在三個基本假定中，方差分析模型對於獨立性的要求比較嚴格，若該假設不滿足，則結果往往會受到較大的影響。

2.2 單因素方差分析

單因素方差分析研究的是一個分類型自變量對一個數值型因變量的影響，對於單因素方差分析問題，假定因素A有r個水平（總體），記爲$A_1,A_2,\cdots ,A_r$，設$y_i$爲第i個水平下的試驗結果，$y_i-N(μ_i,σ^2)$，在$A_i$水平下做 t 次試驗，獲得 t 個數據，則 $y_{ij}$表示第 i 個水平（總體）的第 j 個觀測值 。

在假定都成立的前提下，要比較因素A的r個水平的差異，在形式上可轉化爲比較r個水平（總體）的均值是否相等。因此提出假設檢驗：
$H_0\text{：}\mu _1=\mu _2=\cdots =\mu _r\longleftrightarrow H_1\text{：}\mu _1,\mu _2,\cdots ,\mu _r\text{不全相等}$
由於$y_{ij}$的取值既受不同水平$A_i$的影響，又受$A_i$固定下隨機因素的影響，所以單因素方差分析模型爲：
於是單因素方差模型可寫成：
$\left\{ \begin{array}{l} y_{ij}=\mu +\alpha _i+e_{ij}\\ \\ e_{ij}~N\left( 0,\sigma ^2 \right)\\ \\ \sum_{i=1}^r{\alpha _i}=0\\ \end{array} \right. \ \ \ \ i=1,2,\cdots ,r\ ;\ j=1,2,\cdots ,t\$
原假設等價於
$H_0\text{：}\alpha _1=\alpha _2=\cdots =\alpha _r=0$
如果$H_0$被拒絕，則說明因素A的各水平的效應之間有顯著的差異。

由觀測值$y_{ij}$的波動可由因素的A的不同水平以及試驗的隨機誤差e引起，因此在單因素方差分析中，總離差平方和SST可分解爲組間平方和SSA以及組內平方和SSE兩部分，具體記爲：
（1） 總離差平方和$SS_T=\sum_{i=1}^r{\sum_{j=1}^t{\left( y_{ij}-\bar{y} \right) ^2}}$， 反映全部試驗數據之間的差異
其自由度爲$f_T=n-1（n=r×t）$

（2） 組間平方和$SS_A=\sum_{i=1}^r{t\left( \bar{y}_i-\bar{y} \right) ^2}$， 爲r個水平均值差異大小的度量
其自由度爲$f_T=r-1$

（3） 組內平方和$SS_E=\sum_{i=1}^r{\sum_{j=1}^t{\left( y_{ij}-\bar{y}_i \right) ^2}}$，其自由度爲$f_T=n-r$

（4） 三種變異的關係爲
$SS_T=SS_A+SS_E$

由相關的證明推理可知，當$H_0$成立時此構造出方差分析的統計量
$F=\frac{SS_A/\left( r-1 \right)}{SS_E/\left( n-r \right)}~F\left( r-1,n-r \right)$
因此在給定的顯著性水平α，若$F>F_{\alpha}\left( r-1,n-r \right)$，則拒絕原假設，認爲因素A的r個水平效應有顯著性差異。相反，若$F<F_{\alpha}\left( r-1,n-r \right)$，則不拒絕原假設，認爲因素A的r個水平沒有明顯的差異。可得出方差分析表：

2.3 兩因素方差分析

單因素方差分析只是考慮一個分類型自變量對數值型因變量的影響。在對實際問題的研究中，有時需要考慮幾個因素對試驗結果的影響。
這裏考慮無交互效應的兩因素方差分析，假定兩因素分別爲A和B，其中因素A有a個不同的水平，記爲$A_1,A_2,\cdots ,A_a$，因素B有b個不同的水平，記爲$B_1,B_2,\cdots ,B_b$。因此根據單因素方差分析模型，可以得出無交互效應的兩因素方差分析爲：

$\left\{ \begin{array}{l} y_{ij}=\mu +\alpha _i+\beta _j+e_{ij}\ \ \ \ i=1,2,\cdots ,a\ ;\ j=1,2,\cdots ,b\\ \\ e_{ij}~N\left( 0,\sigma ^2 \right) \ \ ,\ \text{且相互獨立}\\ \\ \sum_{i=1}^a{\alpha _i}=0\ \ ,\ \ \sum_{j=1}^b{\beta _j}=0\\ \end{array} \right.$
其中μ爲總平均，$α_i$爲因素A的水平$A_i$的效應，$β_j$爲因素B的水平$B_j$的效應，$e_{ij}$爲隨機誤差。
考察因素A或B各水平對指標的影響有無顯著的差異，可以歸結爲對假設
$H_1\text{：}\alpha _1=\alpha _2=\cdots =\alpha _a=0$
或$H_2\text{：}\beta _1=\beta _2=\cdots =\beta _b=0$
因此和單因素方差分析模型一樣，可構造如下檢驗統計量：

• 總平方和：$SS_T=\sum_{i=1}^a{\sum_{j=1}^b{\left( y_{ij}-\bar{y} \right) ^2}}$，自由度ab-1
• 因素A的平方和：$SS_A=b\sum_{i=1}^a{\left( \bar{y}_{i\cdot}-\bar{y} \right) ^2}$，自由度爲a-1
• 因素B的平方和：$SS_B=a\sum_{j=1}^b{\left( \bar{y}_{\cdot j}-\bar{y} \right) ^2}$，自由度b-1

誤差平方和
因此總平方和的分解式：$SS_T=SS_A+SS_B+SS_E$
由相關證明可得，當$H_1$成立時，

$F_A=\frac{SS_A/\left( a-1 \right)}{SS_E/\left( a-1 \right) \left( b-1 \right)}~F_{\alpha}\left( a-1,\left( a-1 \right) \left( b-1 \right) \right)$
對於給定的顯著性水平α，當$F_A>F_{\alpha}\left( a-1,\left( a-1 \right) \left( b-1 \right) \right)$時，拒絕原假設，認爲因素A的a個水平的效應有顯著性差異。

同理，當$H_2$成立時
$F_B=\frac{SS_B/\left( b-1 \right)}{SS_E/\left( a-1 \right) \left( b-1 \right)}~F_{\alpha}\left( b-1,\left( a-1 \right) \left( b-1 \right) \right)$
同樣的方法檢驗$H_2$。因此對於無交互效應的兩因素方差分析得出方差分析表：

3. 協方差分析模型

協方差模型是一種特殊的線性模型，它實際上是線性迴歸模型和方差模型的混合，模型中的自變量既有屬性因子又有數量因子，設計矩陣由兩部分組成，一部分元素只能取0或1，而另一部分的元素可取連續值，可以看作由方差分析模型和線性迴歸模型的設計矩陣組拼而成。

協方差分析模型雖然是線性迴歸模型和方差分析模型的一種“混合”，但是對這兩部分並不同等看待，迴歸部分只是因爲某些量不能迴歸分析部分只是因爲某些量不能完全人爲控制而不得已引入的。因此協方差模型最主要的還是方差分析部分，因而這種模型的統計分析—協方差分析，基本上具有方差分析的特色，即有關效應存在性的檢驗佔有突出地位，與方差分析比較起來，在協方差分析中並沒有引進任何新的概念，實際上它只是一種計算方法，旨在利用一般方差分析的結果很簡便地作協方差分析模型的統計分析。

3.1 模型結構

一般的協方差分析模型爲
$\left\{ \begin{array}{l} Y=X\beta +Z\gamma +e\\ \\ H\beta =0\\ \\ e~N\left( 0,\sigma ^2 \right)\\ \end{array} \right.$

其中
$Y=\left( \begin{array}{c} y_1\\ y_2\\ \vdots\\ y_n\\ \end{array} \right) \ \ \ X=\left( \begin{matrix} x_{11}& x_{12}& \cdots& x_{1p}\\ x_{21}& x_{22}& \cdots& x_{2p}\\ \vdots& \vdots& \vdots& \vdots\\ x_{n1}& x_{n2}& \cdots& x_{np}\\ \end{matrix} \right) \ \ Z=\left( \begin{matrix} z_{11}& z_{12}& \cdots& z_{1k}\\ z_{21}& z_{22}& \cdots& z_{2k}\\ \vdots& \vdots& \vdots& \vdots\\ z_{n1}& z_{n2}& \cdots& z_{nk}\\ \end{matrix} \right)$
$\beta =\left( \begin{array}{c} \beta _1\\ \beta _2\\ \vdots\\ \beta _p\\ \end{array} \right) \ \ \gamma =\left( \begin{array}{c} \gamma _1\\ \gamma _2\\ \vdots\\ \gamma _k\\ \end{array} \right) \ \ e=\left( \begin{array}{c} e_1\\ e_2\\ \vdots\\ e_n\\ \end{array} \right)$
其中$Y_{n\times 1}$爲要考察的某項指標；X爲因素A的設計矩陣，其元素$x_{ij}$皆爲0或1，並且Xβ代表模型的方差部分；Z爲協變量矩陣，其元素z_ij可取任何實數值，並且Zγ代表模型的迴歸部分； β爲因素效應向量；γ爲待估計的迴歸係數。

3.2 參數估計

協方差分析模型中參數的最小二乘估計可以由以下正則方程得到，正則方程爲：
$\left( X\ \ Z \right) ^T\left( X\ \ Z \right) \left( \begin{array}{c} \beta\\ \gamma\\ \end{array} \right) =\left( X\ \ Z \right) ^TY$
加上約束條件，可寫成
$\left\{ \begin{array}{l} X^TX\beta +X^TZ\gamma =X^TY\\ \\ Z^TX\beta +Z^TZ\gamma =Z^TY\\ \\ H\beta =0\\ \end{array} \right.$
令 γ=0 時，協方差分析模型轉化爲方差分析模型$Y=X\beta +e\ ,\ e\sim N\left( 0,\sigma ^2I_n \right)$，對應的正規方程組
$\left\{ \begin{array}{l} X^TX\beta =X^TY\\ \\ H\beta =0\\ \end{array} \right.$
的解是Y的線性函數，記爲$\hat{\theta}_0=AY$，因此根據上述等式關係，解得
$\hat{\beta}=A\left( Y-Z\gamma \right) =AY-A\left( Z_1\gamma _1+Z_2\gamma _2+\cdots +Z_k\gamma _k \right)$

$=AY-AZ_1\gamma _1-AZ_2\gamma _2-\cdots -AZ_k\gamma _k$
這裏$Z_j$是Z的第j列，$γ_j$是γ的第j個分量。另外，可以把$AZ_j$看成是指標爲$Z_j$的對應的方差分析模型中各種效應的估計，即可記
$\left\{ \begin{array}{l} Z_j=X\beta +e\\ \\ H\beta =0\\ \\ e~N_n\left( 0,\sigma ^2I_n \right)\\ \end{array} \right.$

中β的估計爲
$\hat{\theta}_j=AZ_j\ ,\ j=1,2,\cdots ,k$
$\hat{\theta}_j$ 滿足

$\left\{ \begin{array}{l} X^TX\theta _j=X^TZ_j\\ \\ H\theta _j=0\\ \end{array} \right.$
只要求得γ的估計後，便可得
$\hat{\beta}=\hat{\theta}_0-\hat{\theta}_1\hat{\gamma}_1-\cdots -\hat{\theta}_k\hat{\gamma}_k$
爲求γ的估計需要利用
$Z_i^TX\beta +Z_i^T\left( Z_1\gamma _1+\cdots +Z_k\gamma _k \right) =Z_i^TY\ \ \ ,\ i=1,2,\cdots ,k$

3.3 假設檢驗

欲檢驗：
$H_0\text{：}M\left( \begin{array}{c} \beta\\ \gamma\\ \end{array} \right) =0$

其檢驗統計量爲
$F=\frac{\left( R_1^2-R_0^2 \right) /\left( f_1-f_0 \right)}{R_0^2/F_0}$
其中
$\left\{ \begin{array}{l} R_1^2=Y^T\left[ Y-X\left( M \right) \hat{\theta}_0\left( M \right) \right] -Z_1^T\left( M \right) \left[ Y-X\left( M \right) \hat{\theta}_0\left( M \right) |\hat{\gamma}_1\left( M \right) \right]\\ \ \ \ \ \ -Z_k^T\left( M \right) \left[ Y-X\left( M \right) \hat{\theta}_0\left( M \right) |\hat{\gamma}_k\left( M \right) \right]\\ \\ R_0^2=Y^T\left[ Y-X\hat{\theta}_0 \right] -Z_1^T\left[ Y-X\hat{\theta}_0 \right] \hat{\gamma}_1-\cdots -Z_k^T\left[ Y-X\hat{\theta}_k \right] \hat{\gamma}_k\\ \\ f_0=n-R\left( X \right) -R\left( Z \right)\\ \\ f_1=n-R\left( X\left( M \right) \right) -R\left( Z\left( M \right) \right)\\ \end{array} \right.$
在原假設爲真時，$F\sim F\left( f_1-f_0,f_0 \right)$，在給定的顯著性水平下，當$F>F_{\alpha}\left( f_1-f_0,f_0 \right)$時，拒絕原假設。

4. 混合效應模型

混合效應模型也稱爲方差分量模型，混合效應模型的一般形式爲：
$y=X\beta +U\xi +e$

其中y爲n×1觀測向量，X爲n×p已知設計矩陣，β爲p×1非隨機的參數向量，稱爲固定效應，U爲n×$q_i$隨機效應變量構造的設計矩陣， $\xi _i$爲$q_i$×1隨機向量，稱爲隨機效應，一般有如下假設
$E\left( \xi _i \right) =0\text{，}Cov\left( \xi _i \right) =\sigma _i^2I_{q_i}\text{，}Cov\left( \xi _i,\xi _i \right) =0,i\ne j$
於是
$E\left( y \right) =X\beta \text{，}Cov\left( y \right) =\sum_{i=1}^k{\sigma _i^2U_iU_i^T}$
$σ_i^2$ 稱爲方差分量。

5. 面板數據模型

面板數據（panel data）也稱平行數據或時間序列截面數據，是混合數據（pool data）中一種特殊類型的數據，它是指在時間序列上不同時間節點取相應的截面，在這些截面上同時選取樣本觀測值所構成的樣本數據，面板數據從橫截面上看，是由若干個體在某一時刻構成的截面觀測值；從縱剖面上看是一個時間序列。

5.1 面板數據模型的基本形式

面板數據模型的基本形式爲：
$y_{it}=a_i+\boldsymbol{x'}_{it}\boldsymbol{b}_i+e_{it}\ \ \ ,\ \ i=1,2,\cdots ,N\ ;\ t=1,2,\cdots ,T$
其中$y_{it}$爲時間t橫截面上第i個被解釋變量的數值；$x_{it}$爲k×1維解釋變量向量；$b_{it}$爲對應於迴歸向量$x_{it}$的k×1維繫數向量；$a_i$爲常數項或截距項，代表橫截面第i個個體的影響；$e_{it}$爲隨機誤差項，滿足相互獨立、零均值、同方差爲$σ^2$的假設；N表示同一截面擁有個體的個數；T表示每個截面個體的觀測時期總數。在成員截面上，該模型共含有N個截面成員方程，在時間截面上，該模型共含有T個時間截面的方程。

面板數據模型劃分爲以下3中類型：

（1）無個體影響的不變係數模型：$a_i=a_j=a\ ,\ b_i=b_j=b$
$y_{it}=a+\boldsymbol{x'}_{it}\boldsymbol{b}+e_{it}\ \ \ ,\ \ i=1,2,\cdots ,N\ ;\ t=1,2,\cdots ,T$
在該模型中，假設在橫截面上既無個體影響也沒有結構變化，可將模型簡單地視爲是橫截面數據的堆積的模型。這種模型與一般的迴歸模型無本質區別，只要隨機擾動項服從經典基本假設條件，就可以用OLS法對參數進行估計，該模型也稱爲聯合迴歸模型。

（2）變截距模型：$a_i\ne a_j\ ,\ b_i=b_j=b$
$y_{it}=a_i+\boldsymbol{x'}_{it}\boldsymbol{b}+e_{it}\ \ \ ,\ \ i=1,2,\cdots ,N\ ;\ t=1,2,\cdots ,T$
在該模型中，假設在橫截面上存在個體影響，不存在結構性變化，個體影響可以用截距項的差別來說明，即模型中各截面方程的截距項不同，係數向量相同，故通稱爲變截距模型。

（3）變係數模型：$a_i\ne a_j,\ b_i\ne b_j$
$y_{it}=a_i+\boldsymbol{x'}_{it}\boldsymbol{b}_i+e_{it}\ \ \ ,\ \ i=1,2,\cdots ,N\ ;\ t=1,2,\cdots ,T$
在該模型中，假設在橫截面上既存在個體影響，又存在結構變化，即在允許個體影響由變化的截距項來說明，同時還允許由係數向量依個體成員的不同而變化，用以說明個體成員之間的結構變化，通稱爲變係數模型或無約束模型。

根據模型中個體影響的不同形式，上述三個模型可以又分成固定效應模型和隨機效應模型。如果模型中的個體影響$a_i爲$確定性變量，即模型中省略因素對個體差異的影響是固定不變的，則模型爲固定效應模型。如果$a_i$爲隨機變量，即模型中省略對不同個體的影響是隨機的，則模型爲隨機效應模型。

5.2 面板數據模型檢驗

建立面板數據模型首先要檢驗被解釋變量$y_{it}$的參數$a_i$和$b_i$是否對所有個體樣本點和時間都是常數，即檢驗樣本數據究竟術語上述3種情況的哪一種形式，從而避免模型設定的偏差，改進參數估計的有效性，主要檢驗如下兩個假設：
$H_1\text{：}b_1=b_2=\cdots =b_N\leftrightarrow H_2\text{：}a_1=a_2=\cdots =a_N\ ;\ b_1=b_2=\cdots =b_N$
如果接受假設$H_2$，則可以認爲樣本數據符合無個體影響的不變係數模型。如果拒絕假設$H_2$，則需檢驗假設$H_1$，如果接受$H_1$，則認爲樣本數據符合變截距、不變係數模型；反之，則認爲樣本數據符合變係數模型。

對應假設$H_1$和$H_2$，在檢驗的過程中構造的檢驗統計量分別爲：
$F_1=\frac{\left( S_2-S_1 \right) /\left[ \left( N-1 \right) k \right]}{S_1/\left[ NT-N\left( k+1 \right) \right]}~F\left[ \left( N-1 \right) k,N\left( T-k-1 \right) \right]$
$F_2=\frac{\left( S_3-S_1 \right) /\left[ \left( N-1 \right) \left( k+1 \right) \right]}{S_1/\left[ NT-N\left( k+1 \right) \right]}~F\left[ \left( N-1 \right) \left( k+1 \right) ,N\left( T-k-1 \right) \right]$

其中，$S_1$、$S_2$、$S_3$分別爲變係數模型、變截距模型、無個體影響的不變係數模型的殘差平方和；N爲截面樣本點的個數；T爲時序期數；k爲待估計參數（不含截距項）的個數。

在假設$H_2$成立時，若計算所得的統計量$F_2$的值小於給定顯著性水平下的臨界值，則接受假設$H_2$，採用無個體影響的不變係數模型，否則繼續檢驗$H_1$。即當$H_1$成立時，若計算所得的統計量$F_1$的值小於給定顯著性水平下的臨界值，則接受假設$H_1$，採用變截距模型，否則採用變係數模型。

至於採用固定效應模型還是隨機效應模型，可以根據所研究問題的特點來決定。如果僅對樣本本身的效應進行分析，則使用固定效應模型。如果是用樣本推斷總體效應，則使用隨機效應模型。另外，也可以使用Hausman檢驗進行識別。