20應用統計考研複試要點(part16)--應用多元分析

學習筆記，僅供參考，有錯必糾

---

王學明應用多元分析

判別分析

貝葉斯判別

• 貝葉斯統計思想

假定對研究對象已有一定認識，常用先驗概率分佈來描述這種認識，然後抽取樣本來修正已有認識，得到後驗概率分佈，各種統計推斷都通過後驗概率分佈來進行。

• 最大後驗概率法

設有k個組$\pi_i,\pi_2,...,\pi_k$，且組$\pi_i$的概率密度爲$f_i(x)$，樣品x來自組$\pi_i$的先驗概率爲$p_i,i=1,2,...,k$，滿足$p_1+p_2+...+p_k=1$

利用貝葉斯理論，x屬於$\pi_i$的後驗概率(即當樣品 x已知時，它屬於$\pi_i$的概率)如式(1)所示：

先驗概率：驗前概率，一種權重。所謂“先驗”是指先於我們抽取樣本做判別分析的時候。可根據經驗或歷史資料或訓練樣本中的各類樣品的比例得到，還可假定都相等。

最大後驗概率法是採用如下的判別規則式(2)：

後驗概率給出了對樣品x歸屬哪一組作出正確判斷的確信程度。

例如，考慮兩組的情形，欲判別x屬於組$\pi_1$還是組$\pi_2$，若$P(\pi_1|x)=0.54,P(\pi_2|x)=0.46$，則雖判斷x屬於組$\pi_1$但正確判斷的確信程度較低，不太有把握；若$P(\pi_1|x)=0.97,P(\pi_2|x)=0.03$，則雖同樣判斷x屬於組$\pi_1$，，但此時對判斷的正確性是非常確信、有把握的。

最重要的特例是k個組都是正態的，即$\pi_i \sim N_p(\mu_i, \Sigma_i),\Sigma_i >0, i=1,2,...,k$，這時，組$\pi_i$的概率密度如式(3)所示:

是x到$\pi_i$的平方馬氏距離.

將式(3)帶入式(1)可得後驗概率的計算公式：

稱$D^2(x,\pi_i)$爲x到$\pi_i$的廣義平方距離。

在正態性假定下，判別規則式(2)也可等價地表達爲：

• 最小期望誤判代價法

在進行判別分析的過程中難免會發生誤判，各種誤判所產生的後果可能有聽不同。例如，將一批不合格的藥誤判爲合格的比將合格的誤判爲不合格的一般有着更嚴重的後果。誤判代價就是這種誤判後果的數量表現。最大後驗概率法沒有涉及誤判的代價，在各種誤判代價明顯不同的場合下，該判別法就不適宜了。

設有k個組$\pi_i,\pi_2,...,\pi_k$，分別有密度函數$f_1(x), f_2(x),...,f_k(x)$；出現這k個組的先驗概率爲$p_1,p_2,...,p_k$；$c(l|i)$爲來自$\pi_i$卻判別爲$\pi_l$的代價，對於$l=i, \; c(i|i)=0$；$R_l$爲所有判別爲$\pi_l$的x的集合