最小風險 最小錯誤 貝葉斯決策 Bayes(實例詳解)

簡介

貝葉斯決策其實是已經被很多博客解釋的非常詳細了，爲了不製造學術垃圾，本來一直沒打算寫一篇關於Bayes的blog，但是我也是最近纔看到這兩個概念，唉，都怪自己掌握的還是不夠到位。

所以這次我會詳細的分享有關最小錯誤、最小風險的Bayes決策，然後當然如果你還沒有了解什麼是貝葉斯決策的話，還是應該先去學習瞭解原理，然後再來看這次擴展的知識。

另外，我真心覺得最小風險 最小錯誤的貝葉斯分析，更加切合實際生活應用中的情況。看完你就明白了。

最小錯誤率Bayes

假設待識別的特徵爲X,樣本分爲m類，各類的先驗概率和各類的類概密均已知，就有m個判別函數，由Bayes公式可知：

在取得一個觀察特徵X後，在特徵X的條件下，看哪個類的概率最大，應該把X歸於概率最大的那個類。由此，可得到最大後驗概率判決準則的幾種等價形式：

其中, L(x)稱爲似然比, 　lnL(x)稱爲對數似然比
P(ω1)/P(ω2)稱爲似然比閾值

例子

我們看一個例子就很好理解了：

假設在某個局部地區的細胞識別中, 第一類表 示正常, 第二類表示異常, 兩類的先驗概率分別爲: 正常P(ω1)=0.9,
P(ω2)=0.1。 現有一個待識別樣 本細胞, 其觀察值爲x, 從類條件概率密度函數曲線 p(x|ωi)上可查得:
p(x|ω1)=0.2, p(x|ω2)=0.4, 試判斷該細胞是否正常。

根據 Bayes 判決準則將該細胞判爲第一類ω1, 即爲正常細胞。

最大後驗概率判決準則使決策的錯誤率最小。最大後驗概率判決準則的一個優良性質就是使平均錯誤概率達到最小。 因此, 最大後驗概率判決準則又稱爲最小錯誤概率判決準則。

分析

• 這裏以二分類情況爲例進行分析。 此時, m=2,
  任意一個判決準則對應於特徵空間Rd的一個劃分:
  R=R1∪R2, R1∩R2=Ф。爲了直觀，假設x只有一個特
  徵，n=1。錯誤分類有兩種情況：①若x原屬於ω1類，
  卻落入R2，稱爲第1類錯誤；②若x原屬於ω2類，卻落
  入R1 ，稱爲第2類錯誤。
• 第1類錯誤概率P1(e)爲：
  
• 第2類錯誤概率P2(e)爲：
  
• 因此，平均錯誤概率P (e)爲：
  
  

但是我們要這麼想，假如現在就是當前疫情期間，仍然有0.18的概率是異常細胞，這個概率是不是太大了呢。如果判斷失誤，這個代價很可能是巨大的。由此，我們需要最小風險的決策。

最小風險的Bayes決策

• 圖中，直線B的劃分把正常藥品誤判爲異常藥品，這樣擴大了總錯誤率，會給企業帶來一定的損失；直線A的劃分將異常藥品誤判爲正常藥品，雖然使錯誤分類最小，但會使病人因失去正確的治療而遭受極大的損失。可見使錯誤率最小並不一定是最佳選擇。
• 實際應用時，從根據不同性質的錯誤會引起不同程度的損失考慮出發，寧可擴大一些總的錯誤率，但也要使總的損失減少。這時圖中的直線B的劃分最爲實用。這會引進一個與損失有關聯的概念-風險。在做決策時，要考慮所承擔的風險。基於最小風險的Bayes決策規則正是爲了體現這一點而產生的。

若要判斷某顆藥品是正常(ω1)還是異常(ω2)，於 是在判斷中可能出現如下情況：
¾第一種，判對(正常藥品→正常藥品)λ11 ；第二種，判錯(正常藥品→異常藥品) λ21 ； ¾第三種，判對(異常藥品→異常藥品) λ22；第三類，判錯(異常藥品→正常藥品) λ12 。 ¾ 在判斷時，除了能做出“是” ωi類或“不是” ωi類 的動作以外，還可以做出“拒識”的動作。爲了更好地研究最小風險Bayes分類器，下面說明幾個概念：

我們定義如下概念，方便後面進行分析：

• 損失函數λii=λ(αi ,ωi)表示模式x本來屬於ωi類而錯判爲ωi所受損失。因爲這是正確判決，故損失最小。
• 損失函數λij=λ(αi , ωj)表示模式x本來屬於ωj類錯判爲ωi所受損失。因爲這是錯誤判決，故損失最大。
• 風險R(期望損失)：對未知模式x採取一個判決行動α(x)所付出的代價(損失)。
• 條件風險(也叫條件期望損失)：
  
• 在整個特徵空間中定義期望風險R：
  

注：條件風險只反映對某x取值的決策行動αi所帶來的風險。期望風險R則反映在整個特徵空間不同的x取值a(x) {決策可看成是隨機向量x的函數， 記爲a(x)}的決策行動所帶來的平均風險

最小風險Bayes決策規則：

例子

看了就完全理解了：

在上個例子的基礎上, 增加條件λ11=0, λ12=6, λ21=1, λ22=0, 請判斷該細胞是否正常

若按最小風險的Bayes判決進行判斷, 先計算後驗概率：

條件風險:


所以如果誤測的代價特別大的話，就應了那句話，寧可誤測一千，也不放過一個。（開玩笑啦）

大家共勉~~