參考：http://www.xuehuile.com/thesis/9a81f680054441ad907934b07b465c8e.html，本文做了相關修改。
1 人臉識別技術概述
近年來，隨着計算機技術的迅速發展，人臉自動識別技術得到廣泛研究與開發，人臉識別成爲近30年裏模式識別和圖像處理中最熱門的研究主題之一。人臉識別的目的是從人臉圖像中抽取人的個性化特徵，並以此來識別人的身份。一個簡單的自動人臉識別系統，包括以下4個方面的內容 ：
(1)人臉檢測(Detection)：即從各種不同的場景中檢測出人臉的存在並確定其位置。
(2)人臉規範化(Normalization)：校正人臉在尺度、光照和旋轉等方面的變化。或者叫做alignment，人臉對齊，人臉校準
(3)人臉校驗(Face verification )：採取某種方式表示檢測出人臉和數據庫中的已知人臉，確認兩張臉是否是同一個人。
(4)人臉識別(Recognition)：將待識別的人臉與數據庫中的已知人臉比較，得出給你的臉是庫裏的誰。
2 人臉識別算法的框架
人臉識別算法描述屬於典型的模式識別問題，主要有在線匹配和離線學習兩個過程組成，如圖1所示。
圖1 一般人臉識別算法框架
在人臉識別中，特徵的分類能力、算法複雜度和可實現性是確定特徵提取法需要考慮的因素。所提取特徵對最終分類結果有着決定性的 影響 。分類器所能實現的分辨率上限就是各類特徵間最大可區分度。因此，人臉識別的實現需要綜合考慮特徵選擇、特徵提取和分類器設計。
3 人臉識別的發展歷史及分類
人臉識別的研究已經有相當長的歷史，它的發展大致可以分爲四個階段：
第一階段：人類最早的研究 工作至少可追朔到二十世紀五十年代在心理學方面的研究和六十年代在工程學方面的研究。
J. S. Bruner於1954年寫下了關於心理學的 The perception of people，Bledsoe在1964年就工程學寫了Facial Recognition Project Report，國外有許多學校在研究人臉識別技術 [1]，其中有從感知和心理學角度探索人類識別人臉機理的，如美國Texas at Dallas大學的Abdi和Tool小組 [2、3]，由Stirling大學的Bruce教授和Glasgow大學的Burton教授合作領導的小組等 [3]；也有從視覺機理角度進行研究的，如英國的Graw小組 [4、5]和荷蘭Groningen大學的Petkov小組 [6]等。
第二階段：關於人臉的機器識別研究開始於二十世紀七十年代。
Allen 和Parke 爲代表，主要研究人臉識別所需要的面部特徵。研究者用計算機實現了較高質量的人臉灰度圖模型。這一階段工作的特點是識別過程全部依賴於操作人員，不是一種可以完成自動識別的系統。
第三階段：人機交互式識別階段。
Harmon 和Lesk 用幾何特徵參數來表示人臉正面圖像。他們採用多維特徵矢量表示人臉面部特徵，並設計了基於這一特徵表示法的識別系統。Kaya和Kobayashi 則採用了統計識別方法，用歐氏距離來表徵人臉特徵。但這類方法需要利用操作員的某些先驗知識，仍然擺脫不了人的干預。
第四階段：20世紀90年代以來，隨着高性能計算機的出現，人臉識別方法有了重大突破，才進入了真正的機器自動識別階段。在用靜態圖像或視頻圖像做人臉識別的領域中，國際上形成了以下幾類主要的人臉識別方法：
1）基於幾何特徵的人臉識別方法
基於幾何特徵的方法是早期的人臉識別方法之一 [7]。常採用的幾何特徵有人臉的五官如眼睛、鼻子、嘴巴等的局部形狀特徵。臉型特徵以及五官在臉上分佈的幾何特徵。提取特徵時往往要用到人臉結構的一些先驗知識。識別所採用的幾何特徵是以人臉器官的形狀和幾何關係爲基礎的特徵矢量，本質上是特徵矢量之間的匹配，其分量通常包括人臉指定兩點間的歐式距離、曲率、角度等。
基於幾何特徵的識別方法比較簡單、容易理解，但沒有形成統一的特徵提取標準；從圖像中抽取穩定的特徵較困難，特別是特徵受到遮擋時； 對較大的表情變化或姿態變化的魯棒性較差。
2）基於相關匹配的方法
基於相關匹配的方法包括模板匹配法和等強度線方法。
①模板匹配法：Poggio和Brunelli [10]專門比較了基於幾何特徵的人臉識別方法和基於模板匹配的人臉識別方法，並得出結論：基於幾何特徵的人臉識別方法具有識別速度快和內存要求小的優點，但在識別率上模板匹配要優於基於幾何特徵的識別方法。
②等強度線法：等強度線利用灰度圖像的多級灰度值的等強度線作爲特徵進行兩幅人臉圖像的匹配識別。等強度曲線反映了人臉的凸凹信息。這些等強度線法必須在背景與頭髮均爲黑色，表面光照均勻的前提下才能求出符合人臉真實形狀的等強度線。
3）基於子空間方法
常用的線性子空間方法有：本徵子空間、區別子空間、獨立分量子空間等。此外，還有局部特徵分析法、因子分析法等。這些方法也分別被擴展到混合線性子空間和非線性子空間。
Turk等 [11]採用本徵臉( Eigenfaces)方法實現人臉識別。由於每個本徵矢量的圖像形式類似於人臉，所以稱本徵臉。對原始圖像和重構圖像的差分圖像再次進行K-L變換，得到二階本徵空間，又稱二階本徵臉 [12]。Pentland等 [13]提出對於眼、鼻和嘴等特徵分別建立一個本徵子空間，並聯合本徵臉子空間的方法獲得了好的識別結果。Shan等 [14]採用特定人的本徵空間法獲得了好於本徵臉方法的識別結果。Albert等 [15]提出了TPCA(Topological PCA)方法，識別率有所提高。Penev等 [16]提出的局部特徵分析(LFA Local Feature Analysis)法的識別效果好於本徵臉方法。當每個人有多個樣本圖像時，本徵空間法沒有考慮樣本類別間的信息，因此，基於線性區別分析(LDA Linear Discriminant Analysis )，Belhumeur等 [17]提出了Fisherfaces方法，獲得了較好的識別結果。Bartlett等 [18]採用獨立分量分析(ICA，Independent Component Analysis)的方法識別人臉，獲得了比PCA方法更好的識別效果。
4）基於統計的識別方法
該類方法包括有：KL算法、奇異值分解(SVD)、隱馬爾可夫(HMM)法。
①KL變換：將人臉圖像按行(列)展開所形成的一個高維向量看作是一種隨機向量，因此採用K-L變換獲得其正交K-L基底，對應其中較大特徵值基底具有與人臉相似的形狀。國外，在用靜態圖像或視頻圖像做人臉識別的領域中，比較有影響的有MIT的Media實驗室的Pentland小組，他們主要是用基於KL變換的本徵空間的特徵提取法，名爲“本徵臉( EIgenface) [19]。
②隱馬爾可夫模型：劍橋大學的Samaria和Fallside [20]對多個樣本圖像的空間序列訓練出一個HMM模型，它的參數就是特徵值；基於人臉從上到下、從左到右的結構特徵；Samatia等 [21]首先將1-D HMM和2-D Pseudo HMM用於人臉識別。Kohir等 [22]採用低頻DCT係數作爲觀察矢量獲得了好的識別效果，如圖2(a)所示。Eickeler等 [23]採用2-D Pseudo HMM識別DCT壓縮的JPEG圖像中的人臉圖像；Nefian等採用嵌入式HMM識別人臉 [24]，如圖2(b)所示。後來集成coupled HMM和HMM通過對超狀態和各嵌入狀態採用不同的模型構成混合系統結構 [25]。
基於HMM的人臉識別方法具有以下優點：第一，能夠允許人臉有表情變化，較大的頭部轉動；第二，擴容性好.即增加新樣本不需要對所有的樣本進行訓練；第三，較高的識別率。
(a) (b)
圖2 (a) 人臉圖像的1-D HMM (b) 嵌入式隱馬爾科夫模型
5）基於神經 網絡 的方法
Gutta等 [26]提出了混合神經網絡、Lawrence等 [27]通過一個多級的SOM實現樣本的聚類，將卷積神經網絡CNN用於人臉識別、Lin等 [28]採用基於概率決策的神經網絡方法、Demers等 [29]提出採用主元神經網絡方法提取人臉圖像特徵，用自相關神經網絡進一步壓縮特徵，最後採用一個MLP來實現人臉識別。Er等 [30]採用PCA進行維數壓縮，再用LDA抽取特徵，然後基於RBF進行人臉識別。Haddadnia等 [31]基於PZMI特徵，並採用混合學習算法的RBF神經網絡進行人臉識別。神經網絡的優勢是通過學習的過程獲得對這些 規律 和規則的隱性表達，它的適應性較強。
6）彈性圖匹配方法
Lades等提出採用動態鏈接結構(DLA，Dynamic Link Architecture) [32]的 方法 識別人臉。它將人臉用格狀的稀疏圖如圖3所示。
圖3 人臉識別的彈性匹配方法
圖3中的節點用圖像位置的Gabor小波分解得到的特徵向量標記，圖的邊用連接節點的距離向量標記。Wiskott等人使用彈性圖匹配方法，準確率達到97.3%。Wiskott等 [33]將人臉特徵上的一些點作爲基準點，構成彈性圖。採用每個基準點存儲一串具有代表性的特徵矢量，減少了系統的存儲量。Wurtz等 [34]只使用人臉ICI部的特徵，進一步消除了結構中的冗餘信息和背景信息，並使用一個多層的分級結構。Grudin等 [35]也採用分級結構的彈性圖，通過去除了一些冗餘節點，形成稀疏的人臉描述結構。另一種方法是，Nastar等 [36]提出將人臉圖像I(x，y)表示爲可變形的3D網格表(x，y，I(x，y))，將人臉匹配問題轉換爲曲面匹配問題，利用有限分析的方法進行曲面變形，根據兩幅圖像之間變形匹配的程度識別人臉。
7）幾種混合方法的有效性
(1)K-L投影和奇異值分解(SVD)相融合的分類判別方法。
K-L變換的核心過程是 計算 特徵值和特徵向量。而圖像的奇異值具有良好的穩定性，當圖像有小的擾動時，奇異值的變化不大。奇異值表示了圖像的代數特徵，在某種程度上，SVD特徵同時擁有代數與幾何兩方面的不變性。利用K-L投影后的主分量特徵向量與SVD特徵向量對人臉進行識別，提高識別的準確性 [37]。
(2)HMM和奇異值分解相融合的分類判別方法。
採用奇異值分解方法進行特徵提取，一般是把一幅圖像(長爲H)看成一個N×M的矩陣，求取其奇異值作爲人臉識別的特徵。在這裏我們採用採樣窗對同一幅圖片進行重疊採樣(如圖4)，對採樣所得到的矩陣分別求其對應的前k個最大的奇異值，分別對每一組奇異值進行矢量標準化和矢量重新排序，把這些處理後的奇異值按採樣順序組成一組向量，這組向量是惟一的 [38]。
圖4 採樣窗採樣
綜合上述 論文中的實驗數據表明 [39]，如表1：
表1 人臉識別算法比較
8）基於三維模型的方法
該類方法一般先在圖像上檢測出與通用模型頂點對應的特徵點，然後根據特徵點調節通用模型，最後通過紋理映射得到特定人臉的3D模型。Tibbalds [40]基於結構光源和立體視覺 理論，通過攝像機獲取立體圖像，根據圖像特徵點之間匹配構造人臉的三維表面，如圖5所示。
圖5 三維人臉表面模型 圖6 合成的不同姿態和光照條件下二維人臉表面模型
Zhao [41]提出了一個新的SSFS(Symetric Shape- from-Shading)理論來處理像人臉這類對稱對象的識別問題，基於SSFS理論和一個一般的三維人臉模型來解決光照變化問題，通過基於SFS的視圖合成技術解決人臉姿態問題，針對不同姿態和光照條件合成的三維人臉模型如圖6所示。
三維圖像有三種建模方法：基於圖像特徵的方法 [42、43]、基於幾何 [44]、基於模型可變參數的方法 [45]。其中，基於模型可變參數的方法與基於圖像特徵的方法的最大區別在於：後者在人臉姿態每變化一次後，需要重新搜索特徵點的座標，而前者只需調整3D 變形模型的參數。三維重建的系統框圖，如圖7所示。
圖7 三維建模的系統框圖
三維人臉建模、待識別人臉的姿態估計和識別匹配算法的選取是實現三維人臉識別的關鍵技術。隨着採用三維圖像識別人臉技術的 發展 ，利用直線的三維圖像信息進行人臉識別已經成爲人們 研究 的重心。
4 總結 與展望
人臉自動識別技術已取得了巨大的成就，隨着科技的發展，在實際應用中仍然面臨困難，不僅要達到準確、快速的檢測並分割出人臉部分，而且要有效的變化補償、特徵描述、準確的分類的效果，還需要注重和提高以下幾個方面：
(1) 人臉的局部和整體信息的相互結合能有效地描述人臉的特徵，基於混合模型的方法值得進一步深入研究，以便能準確描述複雜的人臉模式分佈。
(2) 多特徵融合和多分類器融合的方法也是改善識別性能的一個手段。
(3) 由於人臉爲非剛體性，人臉之間的相似性以及各種變化因素的影響 ，準確的人臉識別仍較困難。爲了滿足自動人臉識別技術具有實時要求，在必要時需要研究人臉與指紋、虹膜、語音等識別技術的融合方法。
(4) 3D形變模型可以處理多種變化因素，具有很好的發展前景。已有研究也表明，對各種變化因素採用模擬或補償的方法具有較好的效果。三維人臉識別算法的選取還處於探索階段，需要在原有傳統識別算法的基礎上改進和創新。
(5) 表面紋理識別算法是一種最新的算法 [52]，有待於我們繼續學習和研究出更好的方法。
總之，人臉識別是極富挑戰性的課題僅僅採用一種現有方法難以取得良好的識別效果，如何與其它技術相結合，如何提高識別率和識別速度、減少計算量、提高魯棒性，如何採用嵌入式及硬件實現，如何實用化都是將來值得研究的。
參考 文獻
[1]O'Toole A J，Abdi H，Deffenbacher K A，etal. A low dimensional representation of faces in the higher dimensions of space.[J].Journal of the Optical Society of 2 America，1993，10：405～411
[2]張翠萍，蘇光大.人臉識別技術綜述. 中國 圖像圖形學報，2000，5(11)：885-894
[3]A.Samal，P. A. Iyengar.Automatic recognition and analysis of human faces and facial expressions： a survey [J]. Pattern Recognition，1992，25(1)：65-67
[4]Turk M，Pentland A. Eigenfaces for recognition [J]. Journal of Cognitive Neuroscience，1991，3(1)：71～86
[5]Bartlett M S，Movellan J R，Sejnowski TJ. Face Recognition by Independent Component Analysis [J]. IEEE Trans. on Neural Network， 2002，13(6)：1450-1464
[6]Manjunath B S，Shekhar C and Chellappa R. A new approach to image feature detection with application[J]. Patt. Recog，1996，29(4)：627-640
[7]Cheng Y. Liu K，Yang J，etal.Human face recognition method based on the statistical model of small sample size. SPIE Proc，Intell. Robots and Computer Vision X： Algorithms and Techn.1991，1606：85-95
[8]Nefian A V Embedded Bayesian Networks for Face Recognition [A]. Proceedings. IEEE International Conference on Multimedia and Expo [C] 2002，2：133-136
[9]Gutta S，Wechsler H. Face Recognition Using Hybrid Classifiers [J]. Pattern Recognition，1997，30(4)：539-553
[10]Haddadnia J，Ahmadi M，Faez K A Hybrid Learning RBF Neural Network for Human Face Recognition with Pseudo Zernike Moment Invariant [A]. Proceedings of the 2002 International Joint Conference on Neural Networks [C].2002，1：11-16
[11]M.Lades，J.C.Vorbruggen，J.Buhmann，ect.Distortion invariant object recognition in the dynamic link architecture. IEEE Trans.on Computer，1993，42(3)：300-311
[12]Nastar C，Moghaddam B A .Flexible Images： Matching and Recognition Using Learned Deformations [J]. Computer Vision and Image Understanding，1997，65(2)：179-191
[13]羊牧.基於KL投影和奇異值分解相融合人臉識別方法的研究[D].四川大學.2004，5，1
[14]白冬輝.人臉識別技術的研究與應用[D].北方 工業 大學.2006，5
[15]Adam D. Tibbalds. Three Dimensional Human Face Acquisitions for Recognition [D]. Phd. The sis Cambridge，University of Cambridge，1998.
[16]Wenyi Zhao. Robust image based 3D face recognition [D]. PhD. Thesis. University of Maryland，College Park，1999