貝葉斯決策理論和概率密度估計方法
這學期學習了《模式識別》這門課程，剛剛考完試，趁着考試複習的機會把模式識別的基礎方法總結了一下了，這一篇的主要內容是轉自Angel_Yuaner大神的博客，提供原鏈接整理如下。
貝葉斯決策理論
貝葉斯決策有兩個基本要求
- 各類別總體的概率分佈是已知的
- 待決策分類的類別數是一定的
貝葉斯決策時是從樣本空間到決策空間的一個映射，貝葉斯決策是所有識別方法的一個基準。
貝葉斯決策論
貝葉斯公式和貝葉斯決策貝葉斯決策論有兩種決策規則：
概率密度估計方法
貝葉斯決策中需要先驗概率和類條件概率密度，因此需要進行概率密度估計。如果概率密度函數的形式已知，則爲參數估計，常見的方法有：
如果概率密度函數的形式未知的，就需要用樣本把概率密度函數直接估計出來，這叫做非參數估計。最基本的方法有：
線性判別方法
線性判別主要有三個判別準則，分別是：
- Fisher準則：根據兩分類樣本一般類內聚集，類間分離的特點，尋找線性分類器最佳的法線向量方向，使兩類樣本在該方向上的投影滿足類內儘可能聚集，類間儘可能分離。這種度量通過類內離散矩陣Sw和類間離散矩陣Sb實現。
- 感知器準則函數：準則函數以使錯分樣本到分界面距離之和最小爲原則，優點是通過錯分樣本提供的信息對分類器函數進行修正。
支持向量機：基本思想是在兩類線性可分條件下，所設計的分類器界面使兩類的間隔最大，基本出發點是使期望泛化風險儘可能小。
統計基礎知識
正態分佈
正態分佈也稱爲高斯分佈。客觀世界中很多變量都服從或近似服從正態分佈，且正態分佈具有很好的數學性質，所以正態分佈也是人們研究最多的分佈之一。
正態分佈
補充之中。。。
