超分辨率重建——先驗信息,先驗概率,後驗概率,最大後驗概率

讀超分辨率重建的文章,特別是一開始讀一些基礎的差值的方法的文章時,經常提到的一個概念就沒有運用到圖像的先驗信息。


所謂的先驗信息可以理解爲在實驗之前,已經得到的一些信息,即先驗信息。對於圖像,它可能存在着一些梯度方面的特徵,符合某些統計規律,那麼這些信息就可以用到實驗中去。而這些我們已經知道的圖像的一些特性就是圖像的先驗信息。


先驗概率:基於某一事實得到的概率,比如昨天有500萬人買彩票了,有10個人中了獎,那麼10/500萬就是昨天的彩票的中獎率。

然後後驗概率,問,已經知道昨天的中獎率了,那麼今天的中獎率是多少呢?那麼這種事情B在事情A已經發生的情況下,發生的概率,就可以稱爲後驗概率。

習慣性拿來度娘上的一個栗子:

假設一個學校裏有60%男生和40%女生。女生穿褲子的人數和穿裙子的人數相等,所有男生穿褲子。一個人在遠處隨機看到了一個穿褲子的學生。那麼這個學生是女生的概率是多少?
使用貝葉斯定理,事件A是看到女生,事件B是看到一個穿褲子的學生。我們所要計算的是P(A|B)。
P(A)是忽略其它因素,看到女生的概率,在這裏是40%
P(A')是忽略其它因素,看到不是女生(即看到男生)的概率,在這裏是60%
P(B|A)是女生穿褲子的概率,在這裏是50%
P(B|A')是男生穿褲子的概率,在這裏是100%
P(B)是忽略其它因素,學生穿褲子的概率,P(B) = P(B|A)P(A) + P(B|A')P(A'),在這裏是0.5×0.4 + 1×0.6 = 0.8.
根據貝葉斯定理,我們計算出後驗概率P(A|B)
P(A|B)=P(B|A)*P(A)/P(B)=0.25
可見,後驗概率實際上就是條件概率。
用P(h)表示在沒有訓練數據前假設h擁有的初始概率。P(h)被稱爲h的先驗概率。先驗概率反映了關於h是一正確假設的機會的背景知識如果沒有這一先驗知識,可以簡單地將每一候選假設賦予相同的先驗概率。類似地,P(D)表示訓練數據D的先驗概率,P(D|h)表示假設h成立時D的概率。機器學習中,我們關心的是P(h|D),即給定D時h的成立的概率,稱爲h的後驗概率。

貝葉斯公式
貝葉斯公式提供了從先驗概率P(h)、P(D)和P(D|h)計算後驗概率P(h|D)的方法  
p(h|D)=P(D|H)*P(H)/P(D)  
P(h|D)隨着P(h)和P(D|h)的增長而增長,隨着P(D)的增長而減少,即如果D獨立於h時被觀察到的可能性越大,那麼D對h的支持度越小。
在候選假設集合H中尋找給定數據D時可能性最大的假設h,h被稱爲極大後驗假設(MAP)確定MAP的方法是用貝葉斯公式計算每個候選假設的後驗概率,計算式如下:  
h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h屬於集合H)  
最後一步,去掉了P(D),因爲它是不依賴於h的常量。
在某些情況下,可假定H中每個假設有相同的先驗概率,這樣式子可以進一步簡化,只需考慮P(D|h)來尋找極大可能假設。  
h_ml = argmax p(D|h)  h屬於集合H  
P(D|h)常被稱爲給定h時數據D的似然度,而使P(D|h)最大的假設被稱爲極大似然假設。

栗子
舉例  
考慮一個醫療診斷問題,有兩種可能的假設:(1)病人有癌症。(2)病人無癌症。樣本數據來自某化驗測試,它也有兩種可能的結果:陽性和陰性。假設我們已經有先驗知識:在所有人口中只有0.008的人患病。此外,化驗測試對有病的患者有98%的可能返回陽性結果,對無病患者有97%的可能返回陰性結果。  
上面的數據可以用以下概率式子表示:  
P(cancer)=0.008,P(無cancer)=0.992  
P(陽性|cancer)=0.98,P(陰性|cancer)=0.02  
P(陽性|無cancer)=0.03,P(陰性|無cancer)=0.97  
假設現在有一個新病人,化驗測試返回陽性,是否將病人斷定爲有癌症呢?我們可以來計算極大後驗假設:  
P(陽性|cancer)p(cancer)=0.98*0.008 = 0.0078  
P(陽性|無cancer)*p(無cancer)=0.03*0.992 = 0.0298  
因此,應該判斷爲無癌症。  
確切的後驗概率可將上面的結果歸一化以使它們的和爲1: P(canner|+)=0.0078/(0.0078+0.0298)=0.21 P(cancer|-)=0.79  
貝葉斯推理的結果很大程度上依賴於先驗概率,另外不是完全接受或拒絕假設,只是在觀察到較多的數據後增大或減小了假設的可能性。  
貝葉斯分類具有如下特點:  
(1)貝葉斯分類並不把一個對象絕對地指派給某一類,而是通過計算得出屬於某一類的概率,具有最大概率的類便是該對象所屬的類;  
(2)一般情況下在貝葉斯分類中所有的屬性都潛在地起作用,即並不是一個或幾個屬性決定分類,而是所有的屬性都參與分類;  
(3) 貝葉斯分類對象的屬性可以是離散的、連續的,也可以是混合的。  
貝葉斯定理給出了最小化誤差的最優解決方法,可用於分類和預測。理論上,它看起來很完美,但在實際中,它並不能直接利用,它需要知道證據的確切分佈概率,而實際上我們並不能確切的給出證據的分佈概率。因此我們在很多分類方法中都會作出某種假設以逼近貝葉斯定理的要求。






發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章