模式識別複習demo
3.3貝葉斯估計
在損失函數爲
最大斯然估計與貝葉斯估計比較
最大似然估計方法優點：
計算簡單，貝葉斯估計方法通常需要計算複雜的積分
易於理解，最大斯然估計給出的是參數的一個最佳估計結果。
一些問題
概率密度函數估計的準確性與分類器性能的關係
導致分類器產生誤差的因素：
貝葉斯誤差
這種誤差是由於不同的類條件概率分佈函數之間的相互重疊引起的,是問題本身所有固有的，在分類器設計階段是無法消除的
模型誤差
選擇了不正確的模型所導致的分類誤差
估計誤差
由於採用有限樣本進行估計所帶來的誤差
增加樣本量
採用更好的估計方法
維數災難
在估計一維概率密度函數時用數百個樣本一般可以得到較好的結果，但是維數爆炸。D維：100個點，有100^d個樣本
解決思路：
減小維數災難的思路
特徵之間的獨立性
大量的高維數據實際上嵌入在一個低維的流形上
過擬合
對於訓練樣本以外的其他樣本的預測能力被稱作做泛化能力，或推廣能力
用最小二乘方法來尋找模型的參數是最大似然的一個特例
過擬合問題是最大似然方法的一個普遍特性
採用Bayesian方法可以避免過擬合問題
加入正則化方法
AIC： Akaike信息準則
BIC： Bayesian信息準則 ，AIC的一個變形
減少參數的方法
- 使用參數化模型
- 使用共享參數
- 採用簡單模型
- 低階的多項式
- 假設協方差陣爲對角陣
- 具有更少參數的模型
