李老師模式識別課程：不記下來考完過不了多久就忘完了。以下皆爲每個知識點一道經典題。
知識點1： 正態分佈下的最小錯誤率bayes
在兩類二維問題中，每類的特徵向量都是正態分佈的，協方差矩陣相同爲 ，並且已知兩類的均值分別爲μ1=(1, 0)T，μ2=(－1, 0)T先驗概率相等。
(1) 根據最小錯誤率分類器對特徵向量x=(0, 1)T分類；
(2) 主軸長度爲 ，畫出從 (0, 1)T到μ1的Mahalanobis等距離曲線。
補充知識點
解：（1） 相等且先驗概率相等的條件下， 最小錯誤率分類器的決策面是直線，判別函數是樣本到均值的Mahalanobis距離。
(2)特徵向量只是方向，將其平移過類別中心點作長軸。
知識點2：fisher準則分類器
已知兩類別訓練樣本爲：w1:{ (-1, -2 )T ，(-3, 0)T }，w2:{ (0, 0)T，(2, 4)T}試用Fisher 準則設計線性分類器，求w和y0。
補充知識點：
== w和w0的物理意義，w是法線向量，分界面，w0則表示分界面距離遠點的距離==
知識點3：感知器的設計步驟
已知兩類別訓練樣本爲：w1:{ (1,0 )T ，(-2, 1)T }，w2:{ (0, -2)T，(-1,-1)T}
用感知器固定增量算法求解向量a（a（0）= (0,2 )T），畫出決策面H。
分析：
對a求導後等於y，所以不滿足時a更新規則加上不滿足點的y。
解：先將樣本規範化，令： ，
令四個規範化後的樣本分別爲：y1=(1,0)T，y2=(-2, 1)T，y3=(0, 2)T，y4=(1,1)T。
令a0= (0,2)T，錯分類的樣本爲y1，
a1= (0,2)T +(1,0)T =(1,2)T，錯分類的樣本爲y2，
a2= (1,2)T +(-2, 1)T =(-1, 3)T，錯分類的樣本爲y1，
a3= (-1, 3)T +(1,0)T =(0, 3)T，錯分類的樣本爲y1，
a4= (0, 3)T +(1,0)T =(1, 3)T，無錯分類樣本，爲所求解向量。
決策面H爲垂直解向量a4的直線。
知識點4：近鄰法-距離法
試將以下樣本數據集用近鄰法進行分類，畫出決策面。第一類樣本：(0,1)T，(1,0)T 第二類樣本：(0,0)T，(-1,0)T
知識點5：PCA
已知有兩個數據集，分別爲
w1： (1,0,1), (1,1,1) w2： (0,1,1), (1,1,0)
試按判據 將特徵空間降爲==一維==，求其座標軸u1（新的基向量）；
補充點 新的座標軸，基向量是基於協方差矩陣分解得到的。
知識點6 ：人工神經網絡
二維特徵空間被三條直線劃分爲7個部分，兩類樣本的分佈如圖1所示，神經元採用閾值函數 ，試設計多層神經網絡將兩類樣本分開。
映射到高維：即可線性可分
y1：x1+ 2x2=1
y2：x1 =2
y3：x2=1
y：y3-y2=0.5
解：經過三個線性分類器映射後7個區域對應立方體的八個頂點，第一類映射後的樣本：（1，0，1），將第二類映射爲：（1，0，0），（1，1，1），對應立方體的三個頂點，設計一個平面 可將兩類分開。
基本概念：
1.1 特徵:用來決策事物類別的特點、屬性，樣本的測量值；
特徵向量: 特徵空間:特徵向量可能取值範圍的全體。
1.2 樣本:元素,具體事物
模式:子集,事物所屬的類別，代表這些事物的“概念”
模式類:就是模式。
統計模式識別：讓機器/計算機實現事物的（自動）分類，從具體事物辨別出它的概念。
1.3 訓練集：是一個已知樣本集，在監督學習方法中，用它來設計模式分類器。
測試集：在設計識別和分類系統時沒有用過的獨立樣本集。
1.4 分類器：函數，根據樣本的特徵向量決定樣本屬於哪一個類別。
判別函數：分類或表達決策規則的計算式；判別函數是常用的表示模式分類器的方法之一。
決策面：劃分決策域的邊界面，決策面方程的解；
決策域：樣本分佈的區域（自己理解的）
1.5 Bayes決策
根據先驗概率、類條件概率密度函數以及後驗概率這些量來實現分類決策的方法
1.6 Fisher判別:向量w的方向選擇應能使兩類樣本投影的均值之差儘可能大些，而使類內樣本的離散程度儘可能小。
感知器:是一個具有單層計算單元的人工神經網絡,在對樣本分類訓練過程中逐步修正直至最終確定。
1.7 線性分類器: 判別函數爲線性函數，或者決策面爲超平面的分類器。
1.8 準則函數: 用以評價投影方向w的函數（不確定）
1.9 內積和外積
內積：如果有兩個向量?️(x1,x2,…,xn)，b:(y1,y2,…,yn)，那麼a和b的內積爲: x1y1+x2y2+…+Xn*Yn。即兩個向量對應項相乘、再求和，內積爲標量。
外積：符號表示:a× b，大小爲:|a|•|b|•sin<a,b>。外積爲向量，方向垂直於向量a,b
1.10 優化算法（梯度下降算法，Lagrange乘子法）
梯度下降法是一個最優化算法，用於求解無約束優化問題。每走一步，求解當前位置的梯度，沿着梯度的負方向（也就是當前最陡峭的位置）向下走一步，然後繼續求解當前位置梯度。越接近目標值，步長越小，前進越慢。
基本的拉格朗日乘子法就是求目標函數在約束條件下的極值的方法。其主要思想是將約束條件函數與原函數聯立，從而求出使原函數取得極值的各個變量的解。
1.11 特徵提取與選擇
特徵提取：將原始特徵轉換爲一組具有明顯物理意義或者統計意義或核的特徵；特徵選擇：從特徵集合中挑選一組最具統計意義的特徵，達到降維
1.12 K-L變換
K-L變換也常稱爲主成分變換(PCA)，是一種基於圖像統計特性的變換，它的協方差矩陣除對角線以外的元素都是零(所以大家也叫它最佳變換)，消除了數據之間的相關性，從而在信息壓縮方面起着重要作用。K-L變換的目的是尋找任意統計分佈的數據集合主要分量的子集。基向量滿足相互正交性。使得原始數據集合變換到主分量空間，使單一數據樣本的互相關性降低到最低點。
1.13 監督和非監督學習
監督學習：利用一組已知類別的樣本調整分類器的參數，使其達到所要求性能的過程，也稱爲監督訓練或有教師學習。
非監督學習：若所給的數據樣本不帶有類別信息,就是無監督學習。
1.14 多層感知器
多層感知器是一種前饋人工神經網絡模型，其將輸入的多個數據集映射到單一的輸出的數據集上。多層感知器至少包括一個隱藏層，可以學習非線性函數。
1.15 人工神經網絡
人工神經網絡簡稱神經網絡，是基於生物學中神經網絡的基本原理，在理解和抽象了人腦結構和外界刺激響應機制後，以網絡拓撲知識爲理論基礎，模擬人腦的神經系統對複雜信息的處理機制的一種數學模型。該模型以並行分佈的處理能力、高容錯性、智能化和自學習等能力爲特徵，將信息的加工和存儲結合在一起，以其獨特的知識表示方式和智能化的自適應學習能力，引起各學科領域的關注。它實際上是一個有大量簡單元件相互連接而成的複雜網絡，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關係實現的系統。
神經網絡是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱爲激活函數。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之爲權重，神經網絡就是通過這種方式來模擬人類的記憶。網絡的輸出則取決於網絡的結構、網絡的連接方式、權重和激活函數。而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。
1.16 支持向量機
支持向量機是90年代中期發展起來的基於統計學習理論的一種機器學習方法，通過尋求結構化風險最小來提高學習機泛化能力，實現經驗風險和置信範圍的最小化，從而達到在統計樣本量較少的情況下，亦能獲得良好統計規律的目的。