[統計學筆記] （十）一元線性迴歸

（十）一元線性迴歸

基本術語

迴歸這一術語最早來源於生物遺傳學，由高爾頓（Francis Galton）引入。

迴歸的解釋：迴歸分析是研究某一變量（因變量）與另一個或多個變量（解釋變量、自變量）之間的依存關係，用解釋變量的已知值或固定值來估計或預測因變量的總體平均值。

因變量：
自變量： 或，，，……等等。

數值型自變量和數值型因變量之間關係的分析方法，就是相關與迴歸分析。

相關與迴歸是處理變量之間關係的一種統計方法。如果研究的是兩個變量之間的關係，則稱爲簡單相關與簡單迴歸分析；如果研究的是兩個以上變量之間的關係，則稱爲多元相關與多元迴歸分析。

從變量之間的關係形態來看，有線性相關與線性迴歸分析及非線性相關與非線性迴歸分析。

---

變量之間的關係

變量之間的關係可以劃分爲：函數關係和相關關係。

函數關係是一一對應的關係。

變量之間存在的不確定的數量關係稱爲相關關係。

例子：

---

相關關係的描述與測度

相關分析就是對兩個變量之間線性關係的描述與度量，它要解決的問題包括：

• 變量之間是否存在關係？
• 如果存在關係，他們之間是什麼樣的關係？
• 變量之間的關係強度如何？
• 樣本所反映的變量之間的關係能否代表總體變量之間的關係？

爲了解決這些問題，在進行相關分析時，對總體主要有兩個假定：

第一：兩個變量是線性相關的；

第二：兩個變量都是隨機變量；

確定相關關係的存在，相關關係呈現的形態和方向，相關關係的密切程度。其主要方法是繪製相關圖表和計算相關係數。
1）相關表
編制相關表前首先要通過實際調查取得一系列成對的標誌值資料作爲相關分析的原始數據。
相關表的分類：簡單相關表和分組相關表。單變量分組相關表：自變量分組並計算次數，而對應的因變量不分組，只計算其平均值；該表特點：使冗長的資料簡化，能夠更清晰地反映出兩變量之間相關關係。雙變量分組相關表：自變量和因變量都進行分組而製成的相關表，這種表形似棋盤，故又稱棋盤式相關表。
2）相關圖
利用直角座標系第一象限，把自變量置於橫軸上，因變量置於縱軸上，而將兩變量相對應的變量值用座標點形式描繪出來，用以表明相關點分佈狀況的圖形。相關圖被形象地稱爲相關散點圖。因素標誌分了組，結果標誌表現爲組平均數，所繪製的相關圖就是一條折線，這種折線又叫相關曲線。
3）相關係數
1、相關係數是按積差方法計算，同樣以兩變量與各自平均值的離差爲基礎，通過兩個離差相乘來反映兩變量之間相關程度；着重研究線性的單相關係數。
2、確定相關關係的數學表達式。
3、確定因變量估計值誤差的程度。

在進行相關分析時，首先需要繪製散點圖來判斷變量之間的關係形態，如果是線性關係，則可以利用相關係數來測度兩個變量之間的關係強度，然後對相關係數進行顯著性檢驗，以判斷樣本所反映的關係是否代表兩個變量總體上的關係。

根據散點圖，當自變量取某一值時，因變量對應爲一概率分佈，如果對於所有的自變量取值的概率分佈都相同，則說明因變量和自變量是沒有相關關係的。反之，如果，自變量的取值不同，因變量的分佈也不同，則說明兩者是存在相關關係的。

兩個變量之間的相關程度通過相關係數來表示。相關係數的值在-1和1之間，但可以是此範圍內的任何值。

正相關時，值在0和1之間，散點圖是斜向上的，這時一個變量增加，另一個變量也增加；

負相關時，值在-1和0之間，散點圖是斜向下的，此時一個變量增加，另一個變量將減少。

的絕對值越接近1，兩變量的關聯程度越強，

的絕對值越接近0，兩變量的關聯程度越弱。

不同形態的散點圖：

相關分析

相關分析就是對總體中確實具有聯繫的標誌進行分析，其主體是對總體中具有因果關係標誌的分析。

它是描述客觀事物相互間關係的密切程度並用適當的統計指標表示出來的過程。在一段時期內出生率隨經濟水平上升而上升，這說明兩指標間是正相關關係；而在另一時期，隨着經濟水平進一步發展，出現出生率下降的現象，兩指標間就是負相關關係。

 

通過散點圖可以判斷兩個變量之間有無相關關係，並對變量之間的關係形態作出大致的描述，但散點圖不能準確反映變量之間的關係強度。因此，爲準確度量兩個變量之間的關係強度，需要計算相關係數。

相關係數（correlation coefficient）是根據樣本數據計算的度量兩個變量之間線性關係強度的統計量。

若相關係數是根據總體全部數據計算的，稱爲總體相關係數，記爲：

若是根據樣本數據計算的，則稱爲樣本相關係數，記爲：

樣本相關係數的計算公式爲：

按上述公式計算的相關係數也稱爲線性相關係數（Linear Correlation Coefficient），或稱爲 Pearson 相關係數（Pearson's Correlation Coefficient）

一般情況下，總體相關係數  是未知的，通常將樣本相關係數  作爲  的近似估計值。

但是由於  是根據樣本數據計算出來的，因此會受到抽樣波動的影響。由於抽取的樣本不同， 的取值也就不同，因此  是一個隨機變量。能夠根據樣本相關係數說明總體的相關程度呢？這就需要考慮樣本相關係數的可靠性，也就是進行顯著性檢驗。

相關分析的目的：測度變量之間的關係強度。

使用的工具：相關係數

---

迴歸分析要解決的問題

• 從一組樣本數據出發，確定變量之間的數學關係式；
• 對這些關係式的可信程度進行各種統計檢驗，並從影響某一特定變量的諸多變量中找出哪些變量的影響是顯著的，哪些是不顯著的；
• 利用所求的關係式，根據一個或幾個變量的取值來估計或預測另一個特定變量的取值，並給出這種估計或預測的可靠程度。

---

一元線性迴歸

迴歸模型的表示：

其中： 是誤差項的隨機變量。

迴歸模型：

一元線性迴歸方程的圖示是一條直線，因此也稱爲直線迴歸方程。

---

常見問題

1、 解釋相關關係的含義，並說明相關關係的特點。

含義：變量之間存在的不確定的數量關係爲相關關係。

特點：一個變量的取值不能由另一個變量唯一確定，當變量取某個值時，變量的取值可能有幾個；變量之間的相關關係不能用函數關係進行描述，但也不是無任何規律可循。通常對大量數據的觀察與研究，可以發現變量之間存在一定的客觀規律。

2、 相關分析主要解決哪些問題？

變量間是否存在關係；如果存在，是什麼樣的關係；變量之間的關係強度如何；樣本所反映的變量之間的關係能否代表總體變量之間的關係。

3. 相關分析中有哪些基本假定？

兩個變量之間是線性關係；兩個變量都是隨機變量。

4、 簡述相關係數的性質

公式：

性質：
；對稱性 的大小與和 的原點及尺度無關； 𝑟 僅僅是與 之間線性關係的一個度量，不能用於描述非線性關係； 雖然是兩個變量之間線性關係的一個度量，不意味着 和 一定有因果關係。

5. 爲什麼要對相關係數進行顯著性檢驗？

在對實際現象進行分析時，往往是利用樣本數據計算相關係數作爲總體相關係數的估計值，但由於樣本相關係數具有一定的隨機性，它能否說明總體的相關程度往往同樣本容量有一定關係。因此需要對相關係數進行顯著性檢驗，若在統計上是顯著的，說明它可以作爲總體相關程度的代表值 ，否則不能作爲總體相關程度的代表值 。

6. 簡述相關係數顯著性檢驗的步驟。

提出假設：：   ：   
計算檢驗的統計量： ~ 
進行決策：確定顯著性水平，若，拒絕原假設。

7. 解釋迴歸模型、迴歸方程、估計的迴歸方程的含義
迴歸模型：描述因變量 𝑦 如何依賴自變量 𝑥和誤差項 𝜀 的方程稱爲迴歸模型

表示爲：
迴歸方程：描述因變量如何依賴自變量 𝑥的方程稱爲迴歸方程，表示爲：
估計的迴歸方程：根據樣本數據求出的迴歸方程，表示爲：

8. 一元線性迴歸模型中有哪些基本假定？
因變量與自變量 具有線性關係；在重複抽樣中，自變量的取值是固定的，即假設是非隨機的；誤差項是一個期望值爲 0 的隨機變量；對於所有的 值， 的 都相同；誤差項是一個服從正態分佈的隨機變量 ，且獨立，即  ~ 。

9. 簡述參數最小二乘估計的基本原理
對於和的對觀測值，用距離各觀測點最近的一條直線來代表和之間的關係與實際數據的誤差比其他任何直線都小。即使因變量的觀測值與估計值之間的離差平方和達到最小來估計和。

10. 解釋總平方和、迴歸平方和、殘差平方和的含義，並說明他們之間的關係。解釋總平方和、迴歸平方和、殘差平方和的含義，並說明他們之間的關係

總平方和：對一個具體的觀測值來說，變差的大小可以用實際觀測值與其均值之差來表示，而次觀測值的總變差可由這些離差的平方和來表示，稱爲總平方和（SST）。

迴歸平方和：由於自變量的變化引起的的變化，而其平方和反映了的總變差中由於與之間的線性關係引起的的變化部分，它是可以由迴歸直線來解釋的變差部分，稱爲迴歸平方和（SSR）。

殘差平方和：除了對的線性影響之外的其他因素對變差的作用，是不能由迴歸直線來解釋的變差部分，稱爲殘差平方和（ SSE）。

關係：SST=SSR+SSE

11. 簡述判定係數的含義和作用

含義：判定係數是對估計的迴歸方程擬合優度的度量。

作用：判定係數  測度了迴歸直線對觀測數據的擬合優度，取值範圍；

越接近 ，表明迴歸平方和佔總平方和的比例越大，擬合優度越好；

反之，越接近於 ，迴歸直線的擬合程度就越差。

12. 在迴歸分析中， 檢驗和  檢驗各有什麼作用

 檢驗：線性關係檢驗。

 檢驗：迴歸係數檢驗。

13. 簡要說明殘差分析在迴歸分析中的作用

判斷對誤差項 的假定是否成立。