貝葉斯決策理論：
貝葉斯決策理論方法的假設：
- 各類別總體的概率分佈是已知的
- 要決策分類的類別數是一定的
簡單說，就是我們知道有多少個類別，以及每一個類別的概率值
d維特徵向量
在連續情況下，假設要識別的對象有d種特徵量x1，x2，…，xd，這些特徵的所有可能的取值範圍構成了d維特徵空間，稱
x = [x1，x2，…，xd]T
研究這個的用處？
假設說明：
假設要研究的分類問題有C個類別 Wi , i=1,2…c;且對應於各個類別Wi出現的先驗概率P(Wi)及類條件概率密度函數p(x/Wi)是已知的
現在的情況：
- 如果在特徵空間已觀察到某一向量下x,
x=[x1,x2,…,xd]T
那麼應該把x分到哪一類去纔是最合理呢？
先驗概率：
先驗概率就是我們每一個已知類別的概率，（比如現在有兩種魚，鱸魚和鮭魚，出現鱸魚的概率P(w1)，出現鮭魚的概率爲P(w2),很明顯在這裏只有兩類：
P(w1)+P(w2)=1
類條件概率
樣本的某一個特徵決定這一類別的概率，（因爲樣本會有很多特徵，而我們的每一個特徵會在各個類別中佔有不同的概率，比如現在光澤度是魚的一個特徵，而不同的魚對應的光澤度又不同，所以會有p(x|w1）和p(x|w2)之間的區別就是鱸魚（w1)的光澤度和鮭魚（w2)的光澤度的區別
決定性的：後驗概率
已知：狀態先驗概率P(ωi)，i=1，2
類條件概率密度p(x|ωi)，i=1，2
利用貝葉斯公式可以得到後驗概率：P(wi|x)
基於最小錯誤率的貝葉斯決策規則爲：
- 如果P(w1|x)>P(w2|x),則把x歸類與鱸魚w1;
- 如果P(w1|x)<P(w2|x),則把x歸類與鱸魚w2;
所以貝葉斯公式的實質就是通過觀察某一特徵量x把狀態的先驗概率P( wi )轉化爲狀態的後驗概率P( wi|x )。
綜上所述，我們的算法已經很清晰了吧。還是比較簡單哇，那麼怎麼寫程序呢？
根據貝葉斯公式，算出後驗概率最大值，即分入該類（最大值的那一類）就OK了。
在這裏我們的先驗概率P(wi)肯定是已知的，那麼就剩下了類條件概率了，怎麼求？
用多元高斯概率密度函數
如圖可能更方便看點：
最後按照算後驗概率的方法算出來即可。
Wait…基於最小錯誤率的貝葉斯公式，那最小錯誤率是啥啊？
錯誤率就是我們將這個分錯的概率，然後在將這個分錯的概率中選擇最小的，以P(e)來表示：
所以就有：
可以很明顯地看到這只是兩個類別的最小錯誤率的算法，如果有多個類別呢？可能你就會說，那還不簡單，同理可得：
但是這樣子算的話肯定太麻煩了啊！，所以選擇用（1-平均正確分類的概率）就好了啊
