異方差性和加權最小二乘法詳解

加權最小二乘是對原模型進行加權,是該模型成爲 一個新的不存在異方差性的模型,然後對該新模型使用普通最小二乘法估計其參數進行優化。
 

異方差性的解釋:隨機誤差的方差不全相等。異方差性是相對於同方差而言的,同方差是爲了保證迴歸參數估計量具有良好的統計特性。也就是線性迴歸函數中的隨機誤差(擾動項)必須滿足同方差性,即方差都相同

 

異方差性存在的影響:如果隨機誤差項的均值爲零,則彼此獨立,但是方差不等,即使最小二乘估計具有無偏性和一致性,但卻不是最優線性無偏估計。因此迴歸模型的預測值會波動較大。

 

無偏性:如果總體參數爲setaseta1爲估計量,如果E(seta1)=seta,那麼seta1seta的無偏估計量。

一致性:樣本數目越大,估計量就越來越接近總體參數的真實值。如果seta1seta周圍震盪,那麼滿足無偏性卻不滿足一致性。

有效性: 指估計量與總體參數的離散程度,如果兩個估計量都是無偏的,那麼離散程度較小的估計量相對來說是有效的,離散程度用方差來衡量。

1、判斷有偏估計和無偏估計:計算多個樣本得到的估計值的期望和真實值的差值。
      如果差值爲0則爲無偏估計,如果不爲0則爲有偏估計。

      樣本均值是高斯均值參數的無偏估計量;樣本方差是高斯方差參數的有偏估計

2、

如果線性迴歸模型存在異方差性,則用傳統的最小二乘法估計模型,所得到的參數估計不是有效估計量,也無法對參數模型參數進行有關顯著性檢驗。這時異方差性就破壞了古典的模型,用正常的無權重最小二乘就不能進行正確估計。
異方差的類型分爲三種:遞增方差,遞減方差,複雜性
用圖進行說明,即:

判斷異方差的幾種檢驗方法:1、用X-Y的散點圖進行判斷,看是否存在明顯的散點擴大,縮小和複雜趨勢;2、X-方差的散點圖,看是否形成一斜率爲0的直線3、用各種檢驗方法,如park檢驗,G-Q檢驗和white檢驗。

異方差的修正

如果模型檢驗出存在異方差性,就用加權最小二乘法進行估計。
加權最小二乘法的基本思想:
對原模型進行加權,使之變成一個新的不存在異方差性的模型,然後再採用OLS估計其參數。
 
例子:

 

 檢驗:

如果方差不能直接計算呢?

再實際操作中人們通常採用如下的經驗方法:不對原模型進行異方差性進行檢驗,而是直接選擇加權最小二乘法,尤其是採用截面數據做樣本時,即,如果確實存在異方差,則可以消除,如果不存在異方差性,則加權的等價於普通的最小二乘法。

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章