在檢測到人臉並定位面部關鍵特徵點之後，主要的人臉區域就可以被裁剪出來，經過預處理之後，饋入後端的識別算法。識別算法要完成人臉特徵的提取，並與庫存的已知人臉進行比對，完成最終的分類。我們在這方面的主要工作包括：
-
基於LGBP的人臉識別方法
問題：
統計學習目前已經成爲人臉識別領域的主流方法，但實踐表明，基於統計學習的方法往往會存在“推廣能力弱”的問題，尤其在待識別圖像“屬性”未知的情況下，更難以確定採用什麼樣的訓練圖像來訓練人臉模型。鑑於此，在對統計學習方法進行研究的同時，我們還考慮了非統計模式識別的一類方法。
思路：
對於給定的人臉圖像，LGBP方法首先將其與多個不同尺度和方向的Gabor濾波器卷積(卷積結果稱爲Gabor特徵圖譜)獲得多分辨率的變換圖像。然後將每個Gabor特徵圖譜劃分成若干互不相交的局部空間區域，對每個區域提取局部鄰域像素的亮度變化模式，並在每個局部空間區域內提取這些變化模式的空間區域直方圖，所有Gabor特徵圖譜的、所有區域的直方圖串接爲一高維特徵直方圖來編碼人臉圖像。並通過直方圖之間的相似度匹配技術（如直方圖交運算）來實現最終的人臉識別。在FERET四個人臉圖像測試集合上與FERET97的結果對比情況見下表。由此可見，該方法具有良好的識別性能。而且LGBP方法具有計算速度快、無需大樣本學習、推廣能力強的優點。參見ICCV2005
表.LGBP方法與FERET'97最佳結果的對比情況
|
對比算法 |
各測試子集合性能(首選正確識別率) | |||
|
FB |
FC |
Dup I |
Dup II | |
|
我們的算法性能 |
97.5% |
96.9% |
73.8% |
70.5% |
|
FERET’97 最好結果 |
96.0% |
82.0% |
59.0% |
52.0% |
-
基於AdaBoost的Gabor特徵選擇及判別分析方法
問題：
人臉描述是人臉識別的核心問題之一，人臉識別的研究實踐表明：在人臉三維形狀信息難以準確獲取的條件下，從圖像數據中提取多方向、多尺度的Gabor特徵是一種合適的選擇。使用Gabor特徵進行人臉識別的典型方法包括彈性圖匹配方法（EGM）和Gabor特徵判別分類法（GFC）。EGM在實用中需要解決關鍵特徵點的定位問題，而且其速度也很難提高；而GFC則直接對下采樣的Gabor特徵用PCA降維並進行判別分析，儘管這避免了精確定位關鍵特徵點的難題，但下采樣的特徵維數仍然偏高，而且簡單的下采樣策略很可能遺漏了非常多的有用特徵。
摘要：
針對上述問題，我們考慮如何對Gabor特徵進行有效降維，將目前受到極大關注的AdaBoost算法創新性的應用於Gabor特徵的選擇上來，用於提取對識別最有利的特徵（我們稱這些選擇出來的Gabor特徵爲AdaGabor特徵），並最終通過對AdaGabor特徵的判別分析實現識別（稱該方法爲AGFC識別方法）。在CAS-PEAL和FERET人臉圖像庫上的對比實驗表明：AGFC方法不但可以大大降低Gabor特徵的維數從而可以更加有效地避免“維數災難問題”，降低了計算複雜度，同時識別精度也有了較大的提高。將AGFC與EGM，GFC進一步比較可以看出：無論是EGM還是GFC，均是主觀的選擇若干面部關鍵特徵點提取人臉的特徵表示，而我們提出的AGFC方法則是通過機器學習的方法自動的選擇那些對區分不同人臉具有關鍵作用的Gabor特徵。參見下圖所示三者之間的區別與聯繫。參見FG04，AMFG05
三種不同的人臉建模方法比較示意圖
-
基於SV的Kernel判別分析方法sv-KFD
摘要：
支持向量機(SVM)和Kernel Fisher分析是利用kernel方法解決線性不可分問題的兩種不同途徑，我們將二者進行了有機結合。我們首先證明了SVM最優分類面的法向量在基於支持向量的類內散度矩陣的前提下具有零空間性質，基於此定義了核化的決策邊界特徵矩陣（Kernelized Decision Boundary Feature Matrix，簡寫爲KDBFM），最後利用基於零空間的Kernel Fisher方法計算投影空間。我們還進一步提出了融合類均值向量差及KDBFM來構建擴展的決策邊界特徵矩陣(EKDBFM)的方法，並把這兩種方法成功地應用到了人臉識別領域，在FERET和CAS-PEAL數據庫的實驗結果表明該方法比傳統人臉識別算法具有更好的識別性能。詳見CVPR2005
-
基於特定人臉子空間的人臉識別方法
問題：
Eigenface是人臉識別領域最著名的算法之一，本質上是通過PCA來求取人臉圖像分佈的線性子空間，該空間從最佳重構的角度反映了所有人臉圖像分佈的共性特徵，但對識別而言，這樣的特徵卻未必有利於識別，識別任務需要的是最大可能區分不同人臉的特徵。
摘要：
“特徵臉”方法中所有人共有一個人臉子空間，而我們的方法則爲每一個體人臉建立一個該個體對象所私有的人臉子空間，從而不但能夠更好的描述不同個體人臉之間的差異性，而且最大可能地擯棄了對識別不利的類內差異性和噪聲，因而比傳統的“特徵臉算法”具有更好的判別能力。另外，針對每個待識別個體只有單一訓練樣本的人臉識別問題，我們提出了一種基於單一樣本生成多個訓練樣本的技術，從而使得需要多個訓練樣本的個體人臉子空間方法可以適用於單訓練樣本人臉識別問題。在Yale Face DatabaseB人臉庫對比實驗也表明我們提出的方法比傳統的特徵臉方法、模板匹配方法對錶情、光照、和一定範圍內的姿態變化具有更優的識別性能。參見ICASSP2001,IJIST2003。