Bayesian Face Revisited A Joint Formulation
貝葉斯在人臉識別中的作用
人臉識別問題是多類小樣本問題,因此直接用人臉圖像作爲模式進行貝葉斯分類難以實現。用兩幅圖像灰度差作爲模式矢量，若x1,x2屬於同一人則稱爲類內模式,不同人則爲類間模式。從而將人臉識別的多分類問題轉化爲和的二分類問題。
如果S(△)>1/2這認爲屬於同一個人
通過最大後驗概率（MAP）理論，我們可以通過求P(△|Hi)來代替S(△)，識別方面概率差別不大，但運算速度確有很大提高。
測試的對數似然比爲：
如果P(△|Hi)很大，P(△|He)很小，r值很大，則判斷爲同一個人；
如果P(△|Hi)很小，P(△|He)很大，r值很小，則判斷爲不同人；
如果，兩者同時很小，或很大，這其中一個分類錯誤，無法斷定。
如上圖，class 1 代表 兩種臉爲同一張臉，class 2 代表兩種臉不是同一張臉。貝葉斯方法是基於給定兩張臉的差分X-Y模型。把兩種臉的2維空間投影到一維空間。
模型的差分X-Y等於2維空間的點投影到一維上，再驗證兩張臉。雖然能捕捉主要的信息，但在上圖投影在原點範圍是不可分的。就像上面分析的，兩種條件下，有一種條件分類失敗，就會讓最後驗證值R不確定，造成不可分Inseparable。
因此本論文，提出直接在(x1,x2)聯合下建立2維模型，而且在同樣的框架下-貝葉斯分類。算法的具體思路：1.求(x1,x2)的概率分佈假設分高斯分佈。2.模型、用EM-like算法訓練參數。3.每個臉等於兩個獨立的潛在變量之和，不同人的臉的變化+相同人臉的變化。4.給定學習模型，我們獲得聯合分佈(x1,x2),再log可能的閉合表達比例r,能在測試階段獲得有效的計算。
A Naive Bayesian
(x1,x2)概率分佈假設爲高斯分佈，然後求P(x1,x2|Hi),p(x1,x2|He),這兩種概率分佈P(x1,x2|Hi)=N(0, ∑I),p(x1,x2|He)= N(0, ∑E)。再用R求兩種概率的商，來驗證x1,x2的相似性。 得到的結果後面驗證要比傳統的貝葉斯人臉好。上面這種方法是從統計數據中，直接訓練協方差矩陣∑I，∑E。有兩個因素限制了貝葉斯性能：
1.數據集中訓練樣本不完全獨立，這∑E不是(blockwise)塊對角線矩陣。而上面的公式要求x1,x2相互獨立
2.人臉特徵爲d維特徵，那麼協方差矩陣爲高於2d維的矩陣。
A joint formulation
左圖：是不同人的臉變化分佈 右圖：是同一個人的臉變化分佈。
在左邊，一個人的人臉有且只有一張，特徵成高斯分佈。右邊人臉空間是同一個人的臉變化分佈，也成高斯分佈。左右空間是相互獨立。每個人臉對象是左identity和右intra-personal variation之和所以每個人臉可以表達爲：
x = µ+ ε
其中µ表示人臉的區分特徵，就是人與人之間的差異，ε表示同一人臉自身的變換量（姿態，光照，表情），x爲去均值後的人臉，如x1或x2.顯然,由於µ,ε爲高斯分佈N(0,Su),N(0,Se)(Su,Se爲未知的協方差矩陣)，以上這些特徵和相關假設作爲人臉先驗知識。
Model learning
模型主要訓練Su,Se，來求r(x1 ,x2 )。Su,Se可以很好近似逼近。用EM算法來求Su,Se。
首先設定，人數爲N，每個人相應人臉張數爲m（這裏每個人的m不一樣。比如這篇paper提供的WDRef數據集裏，m的範圍是2~40）。每一張人臉特徵維數爲d。
1. 計算所有人臉特徵均值。（所有人臉特徵個數爲:N*m）
2. 所有人臉特徵減去均值作爲下面使用的人臉特徵。（這一步是爲了達到樣本特徵零均值的目的）
3. 用每個人的人臉特徵計算其均值。
4. 所有人臉特徵減去其相對應人的均值。（這裏目的是將每個人特徵拆分成上文所述的兩部分µ,ε)
5. 分別計算兩部分對應的協方差矩陣（注：Su對應樣本個數爲N，Se對應樣本個數爲N*m）,用EM算法來求Su,Se。
Initialization:
Su,Se用隨機的正定矩陣進行初始化，例如實際實現是可以用單位矩陣進行初始化。論文有對幾類不同的初始化進行對比，結果發現對精度的影響不大。
E-step:
每個人有m張圖像,潛在變量h=[u;e1;...;em]和x=[x1;...;xm]:
h服從高斯分佈N(0, ∑h)，這裏∑h=diag(Su,Se,...,Se)，x服從高斯分佈N(0, ∑x)而：
求h在x條件下的最大期望，尋找參數下的潛在變量最大似然估計或最大後驗概率的算法，期望公式：
直接計算期望的複雜度較高，輔助材料中對它進行了簡化參見（論文'Supplemental material for 'Bayesian Face Revisited A Joint Formulation'）
我們可以先計算：
因爲,對於對角線上的元素我們可以得到：
這裏m爲每個人的的樣本張數，對於非對角線上的元素，我們得到：
由上面兩個公式可得：
把F代入得：
綜上得到
首先通過已知的協方差矩陣Su，Se求解對應的F和G，然後由F，G，去求解對應的u，e兩部分
M-step:
通過u,e計算Su, Se：
將Su,Se通過EM算法進行迭代，直至收斂。
6. 計算相識度
當r(x1,x2)大於一定閾值時認爲是同一個人，否則則爲不同人；
