摘自：
三維人臉研究
三維人臉研究現狀：
傳統的人臉識別方法是基於二維圖像分析的理論進行人臉的表示、分析、提取特徵並進行分類識別。雖然基於二維圖像的人臉識別算法在半個多世紀的研究過程中，取得了豐碩的成果，但是研究表明，基於二維圖像分析的人臉識別方法受到諸如光照、姿態、表情等成像條件的影響較大。與二維數據相比，三維數據包含了人臉的空間信息，是人臉本身固有的信息，對外界條件的變化具有很好魯棒性[13]。採集獲得的臉部三維形狀數據不隨光照、視圖的變化而變化，且化妝等附屬物對圖像影響很大而對三維數據影響不明顯；而且三維數據在信息量上比二維圖像豐富，三維數據具有顯式的空間形狀信息，而二維圖像本質上僅是三維物體在二維空間上的投影，在投影過程中損失了很多有利於識別的信息。
因此，三維人臉識別越來越受到圖像處理、模式識別領域研究人員的青睞。研究者普遍認爲，三維人臉包含更多的有利於識別的信息，利用人臉的三維信息進行識別將有助於克服傳統的基於二維人臉圖像的識別方法所遇到的困難。近年來，隨着三維人臉獲取系統的成熟和發展，更多的研究者將主要的精力投向了三維人臉識別，挖掘三維人臉數據中包含的有用信息進行人臉識別，並取得了較大的進展[14,15]。
雖然三維人臉數據信息量豐富，但如何提取對分類有效的特徵進行人臉表示是三維人臉識別的關鍵研究內容，也是首要解決的問題。按照三維人臉的表徵和匹配方式對國內外人臉識別算法進行歸納、分析和綜述，可將三維人臉識別算法分爲基於局部特徵的方法、基於全局特徵的方法和基於多模態特徵的方法。
【參考文獻】
13 G. Medioni, R. Waupotitsch. Face modeling and recognition in3-D.Proceedings of IEEE Workshop on Analysis and Modeling of Faces and Gestures,Nice, France, 2003:232-233
14 A. Scheenstra, A. Ruifrok, R. C. Veltkamp. A survey of 3D facerecognition
methods. Proceedingsof International Conference on Audio- and Video-Based Biometric PersonAuthentication, New York, 2005: 891-899
15 K. Bowyer, K. Chang, P. Flynn. A survey of approaches and challengesin 3d
and multi-modal 3d+2dface recognition. Computer Vision and Image Understanding. 2006, 101(1):1-15
三維人臉數據庫:
目前國際上已有多個大規模的二維人臉數據庫，這些數據庫爲二維人臉識別算法提供了評測和性能比較的公共平臺。2004 年之前，很少有公開的三維人臉數據庫，近年來，越來越多的研究組織開始建立自己的三維人臉數據庫。公開的三維人臉數據庫爲三維人臉識別領域提供了實驗的依據。下面列出了部分公開的三維數據庫：
1）University ofNotre Dame database(UND)[34, 35]
UND 庫由University of Notre Dame 提供，其中包括 277 人的 953 幅人臉深度圖像，採集設備爲 Minolta 三維掃描儀。所有的人臉都是正面、無表情的，圖像尺寸爲 320*240。這個庫包含了用於三維人臉配準的標準庫 FRGC Ver1.0。
2）FRGC Ver2.0[36]
FRGC V2.0 包含了465 人的 4007 幅 2.5 維圖像，圖像尺寸爲 320*240，採集設備爲Minolta Vivid 900/910 seriesscanner，採集時間從 2003 年秋至 2004 年春。除了中性表情外，還包括一些帶表情的圖像，如：微笑、驚訝等。
3）GavabDB[37,38]
GavabDB 庫包含了 61 人的 549 幅三維圖像，其中 45 名爲男性，16 名爲女性。所有的被採集者都是高加索人種，年齡從 18 至 40 歲。每個採集分別採集 9 幅圖像：2 幅中性正面、2 幅左右全側面、1 幅仰頭、1 幅低頭、1 幅微笑表情、1 幅大笑表情、1 幅隨意表情姿態圖像。
4）3D_RMA[39]
3D_RMA 庫包含了 120 人，每人 6 幅點雲深度數據，包括姿態：正面、左或右、仰頭或低頭。該數據由基於結構光的採集系統分兩次採集。
5）BU-3DFE[40,41]
BU-3DFE 庫由Binghamton University 提供，包括 100 人，其中 44 名男性，56 名女性，採集對象包括白人、黑人、亞洲人、印度人等。每個人被採集 25 幅圖像，包括一
箇中性模型和 6 類帶表情模型，每種表情分爲 4 種程度，包括的表情有：高興、厭惡、恐懼、生氣、驚訝、悲傷。
6）USF[42]
USF 數據庫由University of South Florida 提供，包含 100 箇中性表情的三維人臉模型，該庫用 Cyberware scanner 採集。該庫中的 2.5 維數據可免費申請。
7）BJUT-3D Facedatabase[43]
BJUT 三維人臉數據庫由北京科技大學提供，其中包含 500 人的三維模型，男女各半。該庫用 3D CyberWare 3D scanner採集，每人採集一個三維模型，對每個模型去噪並切除了多餘部分。
【參考文獻】
[34].Chang, K. I.,Bowyer, K. W.,Flynn, P. J. Multi-modal 2D and 3Dbiometrics for face recognition[A]. In
IEEE International Workshop on Analysis and Modeling of Faces andGestures[C], 2003.
[35].UND. http://www.nd.edu/~cvrl/UNDBiometricsDatabse.html.
[36].FRGC. http://www.frvt.org/FRGC/.
[37].GavabDB. http://www.gavab.es/recursos_en.html.
[38].Moreno, A.,Sanchez, A. Gavabdb: A 3d face database[A]. In 2ndCOST275 workshop on Biometrics
on the Internet[C], 2004; 75-80.
[39].3D_RMA. http://www.sic.rma.ac.be/~beumier/DB/3d_rma.html.
[40].Yin, L.,Wei, X.,Sun, Y., etc. A 3D facial expression database forfacial behavior research[A]. In 7th
International Conference on Automatic Face and Gesture Recognition [C],2006.
[41].BU-3DFE.http://www.cs.binghamton.edu/~lijun/Research/3DFE/3DFE_Analysis.html.
[42].USF. http://www.csee.usf.edu/~sarkar/index_files/DataAndCode.htm.
[43].BJUT.http://www.bjut.edu.cn/sci/multimedia/mul-lab/3dface/face_database.htm.
三維人臉表情識別的研究現狀：
雖然有很多的研究者致力於三維人臉識別研究，但是對於三維人臉表情識別的研究卻較少。大部分自動人臉表情識別研究是基於靜態圖像和圖像序列的[88-106]。三維表情識別通常會跟蹤人臉特徵點，例如鼻尖、嘴脣、眼鏡和眉毛等。這些特徵點可以作爲描述符（如主曲率和相對距離），或者用於建立人臉解剖學意義上的對應關係。後者是建立可變人臉模型的關鍵部分，可變人臉模型的參數可以用於表情分類。
J. Wang 等人[107]根據面部肌肉及其動態配置的神經解剖知識進行人臉區域的劃分，用不同區域的幾何描述分佈來進行表情分類。對於每個區域的點用主曲率標記，然後用其直方圖進行面部表情分類。
J. Sung 等人[108]提出了 Stereo Active Appearance Models（STAAM）方法，這種方法是他們提出的著名的 AAM 算法的擴展。AAM 是 2D 人臉形狀和顏色的線性模型。首先用 Procurstes 分析將人臉圖像映射到一箇中性模型上，然後採用 PCA 判定形狀和顏色的主要模式。J. Sung 將深度信息融入 AAM 中。深度信息是由兩個攝像頭採集獲得的立體成像方法計算得出的。採用 GDA（Generalized Discriminant Analysis）分類器將人臉表情分爲四類：中性、高興、驚訝和憤怒。
Ramanathan 等人[109]採用了基於模型的方法。首先通過尋找曲面之間適當的映射建
立人臉的解剖對應，該過程類似於用一個彈性可變模型擬合點雲模型。一旦建立了對應，新的人臉可表示爲少數樣本臉的線性組合。在低維子空間通過配準線性係數實現表情分類。
Mpiperis 等人[110]採用了類似的方法，在三維人臉中通過擬合彈性變形模型來建立對
應。但是，他們是通過訓練數據集發現一套規則來分類表情的。使用數據挖掘方法來尋找規則，並以此作爲一個最優化問題來計算。採用蟻羣優化和粒子羣優化方法得到一個最大化的品質函數，通過結合規則和品質函數得到最優化的解。
B. Gong 等人[111]將三維人臉的表情形狀分爲兩個部分：BFSC 和 ESC。其中 BFSC代表中性無表情人臉基礎結構，ESC 則包含了表情引起的形狀變化。爲了分離 BFSC 和ESC，通過學習方法對每個輸入的非中性表情人臉建立參考臉。基於 BFSC 和原始表情臉，設計人臉表情描述符。然後將描述符輸入 SVM 進行表情分類。
R. Srivastava 等人[112]認爲表情變化後，人臉特徵點的起始位置到最終位置的空間位移（留數）比靜態的表情臉含有更豐富的信息，進而利用留數進行 6 種表情分類。
H. Tang 等人[113]用人臉特徵點之間的距離和斜率作爲特徵，根據 FAPUs 對臉上的五個部分別進行歸一化，最後用 SVM 進行表情分類。在 H. Tang[114]的另一篇文章中，他將 83 個人臉特徵點之間的歸一化後的歐式距離作爲特徵，通過邊緣類條件特徵分佈的平均相對熵最大化進行特徵選擇，最後採用多級 AdaBoost 分類算法進行六類表情分類。
Y.V. Venkatesh 等人[115]採用 actvie contour 算法從二維圖像上提取眉毛、眼睛、鼻子和嘴巴區域的顯著輪廓，把這些輪廓映射到三維網格曲面以獲得有關區域的形狀描述。對於每種表情和每個人計算形狀特徵矩陣，然後採用改進 PCA 進行表情識別。
【參考文獻】
[88].Pantic, M.,Rothkrantz, L. J. M. Automatic analysis of facialexpressions: The state of the art[J].
Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000,22 (12): 1424-1445.
[89].Fasel, B.,Luettin, J. Automatic facial expression analysis: asurvey[J]. Pattern Recognition, 2003, 36(1): 259-275.
[90].朱明旱,羅大庸. 2D FLD 與 LPP 相結合的人臉和表情識別方法[J]. 模式識別與人工智能, 2009, 22(1): 60-63.
[91].付曉峯. 基於二元模式的人臉識別與表情識別研究[D]. 杭州: 浙江大學 控制理論與控制工程
2008.
[92].宋明黎. 人臉表情的識別、重建與合成[D]. 杭州: 浙江大學 計算機科學與技術 2005.
[93].劉偉峯. 人臉表情識別研究[D]. 中國科學技術大學 模式識別與智能系統 2007.
[94].何良華. 人臉表情識別中若干關鍵技術的研究[D]. 南京: 東南大學 信號與信息處理 2005.
[95].葉芳芳,許力. 基於 CMAC 神經網絡的人臉表情識別[J]. 計算機仿真, 2010, 27 (8): 262-265.
[96].應自爐,李景文,張有爲. 基於表情加權距離 SLLE 的人臉表情識別[J]. 模式識別與人工智能,2010, 23 (2): 278-283.
[97].譚華春,章毓晉. 基於人臉相似度加權距離的非特定人表情識別[J]. 電子與信息學報, 2007, 29(2): 455-459.
[98].黃永明,章國寶,董飛, etc. 基於 Gavor、Fisher 臉多特徵提取及集成 SVM 的人臉表情識別[J]. 計算機應用研究, 2011, 28 (4): 1536-1543.
[99].孫正興,徐文暉. 基於局部 SVM 分類器的表情識別方法[J]. 智能系統學報, 2008, 3 (5): 455-466.
[100].王上飛,張鋒,王煦法. 基於時序分析的微弱表情識別方法[J]. 模式識別與人工智能, 2010, 23 (2):148-153.
[101].周曉彥,鄭文明,鄒採榮, etc. 基於特徵融合和模糊核判別分析的面部表情識別方法[J]. 中國圖象圖形學報, 2009, 14 (8): 1615-1620.
[102].朱明旱,羅大庸,王一軍. 基於圖像重建的表情識別算法[J].中國圖象圖形學報, 2010, 15 (1):98-102.
[103].應自爐,唐京海,李景文, etc. 支持向量鑑別分析及在人臉表情識別中的應用[J]. 電子學報, 2008,36 (4): 725-730.
[104].薛雨麗,毛峽,郭葉, etc. 人機交互中的人臉表情識別研究進展[J]. 中國圖象圖形學報, 2009, 14(5): 764-772.
[105].魏冉,姜莉,陶霖密. 融合人臉多特徵信息的表情識別系統[J]. 中國圖象圖形學報, 2009, 14 (5):792-800.
[106].劉曉旻,譚華春,章毓晉. 人臉表情識別研究的新進展[J].中國圖象圖形學報, 2006, 11 (10):1359-1368.
[107].Wang, J.,Yin, L.,Wei, X., etc. 3D facial expression recognitionbased on primitive surface feature distribution[A]. In IEEE Computer SocietyConference on Computer Vision and Pattern Recognition[C], 2006.
[108].Sung, J.,Lee, S.,Kim, D. A real-time facial expression recognitionusing the STAAM[J]. Pattern Recognition, 2006, 1 275-278.
[109].Ramanathan, S.,Kassim, A.,Venkatesh, Y., etc. Human facial expressionrecognition using a 3d morphable model[A]. In IEEE International Conference onAutomatic Face and Gesture
Recognition[C], 2006;661-664.
[110].Mpiperis, I.,Malassiotis, S.,Petridis, V., etc. 3d facial expressionrecognition using swarm intelligence[A]. In IEEE International conference onAccoustics, Speech and Signal Processing[C],2008; 2133-2136.
[111].Gong, B.,Wang, Y.,Liu, J., etc. Automatic facial expressionrecognition on a single 3d face by exploring shape deformation[A]. In the 17thACM international conference on Multimedia [C], 2009;569-572.
[112].Srivastava, R.,Roy, S. 3D facial expression recognition using residues[A].In TENCON[C], 2009;1-5.
[113].Tang, H.,Huang, T. S. 3d facial expression recognition based onproperties of line segments connecting facial feature points[A]. In AutomaticFace & Gesture Recognition[C], 2008; 1-6.
[114].Tang, H.,Huang, T. S. 3D facial expression recognition based onautomatically selected features[A].In IEEE Computer Society Conference onComputer Vision and Pattern Recognition Workshops[C],2008.
[115].Venkatesh, Y.,Kassim, A. A.,Ramana Murthy, O. A novel approach toclassification of facial expressions from 3D-mesh datasets using modifiedPCA[J]. Pattern Recognition Letters, 2009, 30 (12):1128-1137.
人臉表情識別的研究已歷經了幾十年，並在以二維靜態圖像以及二維圖像序列[1，2]爲基礎的研究上取得了很大的成果。目前，此課題又將研究方法定位爲對三維人臉表情的識別，以及怎樣在保證不降低識別效果的前提下實現自動特徵提取從而實現三維人臉表情自動識別系統。近年來很多研究者亦已在此課題上做了一定的研究。
Jun Wang [3]等人基於BU-3DFE數據庫[4]上率先做出三維人臉表情識別的研究。他們首先在人臉模型上手動標出64 個特徵點來劃分出7 個局部人臉表情區域，並以此爲單位對每個局部人臉表情區域提取12 種人臉特徵，並將這些特徵最終應用到LDA 分類器上達到分類的目的。
2008年，Soyel和Demirel[5,6]利用手動標定的11個人臉特徵點來獲取6個距離特徵，並以此作爲概率神經網絡（PNN，probabilisticneural network）的輸入並獲取最終的分類結果。Tang和Huang[7]從83個手動標定點上獲取了24個標準的距離長度來形成一個候選特徵集，並由相對熵來決定從候選特徵集中選擇最好的特徵來做識別。同時在文獻[8]中，他們基於預先定義的點來獲取的連線的屬性作爲特徵，從而實現了不依賴於個人和性別的人臉表情識別。
2009 年，Y.V. Venkatesh [9]等人採用由手動標定的68 個特徵點的形狀信息結合改進的PCA 方法實現了人臉表情的識別。同時，Umut Tekguc [10]等人採用NSGA II 準則從整個特徵空間中決定出最好的人臉特徵集，且這個特徵空間由標準化後的距離向量組成。
2010 年，Stefano Berretti[11]等人基於深度圖中的一組人臉標定點計算SIFT 描述子， 並結合SVM 實現分類的目的。
從上述的論述中，我們可以發現，所有這些對於三維人臉表情識別的前期工作中所用到
的特徵都是由人工標定的特徵點獲得的相關特徵並應用於識別。事實上，很多時候，人工干預在某些系統上是必須避免的。基於這一點，本文提出了一種三維人臉表情自動識別的策略。【李小利---基於變化人臉的三維人臉表情識別】
首先，三維人臉網孔結構要轉化成三維人臉方格結構，因爲方格結構的模型能夠非常容易的獲取深度圖；然後在基於標準化的深度圖的基礎上獲取變化人臉；最後利用傅里葉譜作180 爲特徵，利用一對多的多分類SVM算法（包含了三個不同的核）來識別人臉表情。最終用高斯核SVM獲取的最高識別率是85.33%，與當前主流的人臉表情識別方法識別率相比具有很好的可比性。最重要的一點是我們提出來的策略不需要任何人工干預，而本文提出的方法是可以完全自動的實現，這在某些系統中是至關重要的。
與獲取點的座標信息相似，我們計劃提取人臉模型中的顏色信息並融合到特徵向量中。然後我們將探索一些其他的基於變化人臉的表情特徵，並且嘗試其他的分類器來提高三維人臉表情識別的識別率。最重要的是尋找一種有效的方法來對特徵進行降維更是急切所需的。
[1] Caifeng Shan, Shaogang Gong, Peter W. McOwan, "Facialexpression recognition based on local binary patterns: a comprehensivestudy," Image and Vision Computing, vol. 27, no. 6, pp. 803-816, 2009.
[2] Zhihong Zeng, Yun Fu,Glenn I. Roisman, Zhen Wen, Yuxiao Hu, Thomas S. Huang, "Spontaneousemotional facial expression detection," Journal of Multimedia, vol. 10,no. 5, pp. 1-8, Aug. 2006.
[3] Jun Wang, Lijun Yin, Xiaozhou Wei, Yi Sun, "3D facialexpression recognition based on primitive surface feature distribution,"2006 IEEE Computer Society Conference on Computer Vision Pattern Recognition,vol. 2, pp.1399-1406, 2006.
[4] Lijun Yin, Xiaozhou Wei, Jun Wang, Matthew J. Rosato, "A 3Dfacial expression database for facial behavior research," 7thInternational Conference on Automatic Face and Gesture Recognition, pp.211-216, Apr. 2006.
[5] Hamit Soyel, HasanDemirel, "3D facial expression recognition with geometrically localizedfacial features," 23rd International symposium on Computer and InformationScience, 2008.
[6] Hamit Soyel, HasanDemirel, Facial expression recognition using 3D facial feature distances, 4thInternational Conference on Image Analysis and Recognition, 2007, 22-24.
[7] Hao Tang, Thomas S.Huang, "3D facial expression recognition based on automatically selectedfeatures," IEEE Computer Society Conference on Computer Vision and PatternRecognition Workshops, pp. 1-8, Jun. 2008.
[8] Hao Tang, Thomas S. Huang, "3D facial expressionrecognition based on properties of line segments connecting facial featurepoints," IEEE International Conference on Automatic Face & GestureRecognition, pp.1-6, Sept. 2008.
[9] Y. V. Venkatesh, Ashraf A. Kassim, O. V. Ramana Murthy, "Anovel approach to classification of facialexpressions from 3D-mesh datasetsusing modified PCA," Pattern Recognition Letters, vol. 30, pp.1128-1137,Sept. 2009.
[10] Umut Tekguc and Hamit Soyel, Hasan Demirel, "Featureselection for person-independent 3D facial expression recognition usingNSGA-II," 24th International Symposium on Computer and InformationSciences, pp. 35-38, Sept. 2009.
[11] Steafano Berretti, Alberto Del Bimbo, Pietro Pala, "A setof selected SIFT features for 3D facial expression recognition," 20thInternational Conference on Pattern Recognition, pp. 4125-4128, Aug. 2010.
二十多年來，雖然基於圖像的人臉識別已取得很大進展，並可在約束環境下獲得很好的識別性能，但仍受光照、姿態、表情等變化的影響很大，其本質原因在於圖像是三維物體在二維空間的簡約投影．因此，利用臉部曲面的顯式三維表達進行人臉識別正成爲近幾年學術界的研究熱點．文中分析了三維人臉識別的產生動機、概念與基本過程；根據特徵形式，將=三維人臉識別算法分爲基於空域直接匹配、基於局部特徵匹配、基於整體特徵匹配三大類
進行綜述；對二維和三維的雙模態融合方法進行分類闡述；列出了部分代表性的三維人臉數據庫；對部分方法進行實驗比較，並分析了方法有效性的原因；總結了目前三維人臉識別技術的優勢與困難，並探討了未來的研究趨勢．【王躍明--三維人臉識別研究綜述】
三維人臉識別是指將採集獲得的待識別對象的臉部三維形狀數據作爲識別依據，與庫中已知身份的臉部三維形狀數據進行匹配，然後得出待識別對象身份的過程．三維人臉識別是相對基於圖像(及視頻)的人臉識別而言的，而後者所使用的數據是二維的圖像，其本質是三維物體在二維平面上的投影，是三維信息在二維空間中的簡約．自動的三維人臉識別系統的基本步驟如下：
Stepl．通過三維人臉數據採集設備獲得待識別對象的臉部三維形狀信息．
Step2．對獲得的三維數據進行自動去噪聲、切割等預處理．
Step3．從三維數據中提取特徵．
Step4．用分類器對提取的特徵做分類判別，輸出最後的決策．鑑於三維人臉數據採集的獨立性，目前三維人臉識別算法研究通常是指Step2～Step4，即假設三維人臉數據已經可獲得．
三維人臉匹配算法：
基於空域直接匹配的方法：基於空域直接匹配的方法不提取特徵，直接進行曲面相似度匹配，常用的方法有迭代最近點法(iterative closest point，ICP)和Hausdorff距離法等，這類方法通常分爲對齊和相似度計算2步．
基於局部特徵的匹配：基於局部特徵的匹配方法的關鍵在於，如何從三維的臉部曲面中提取有效的形狀幾何信息特徵．三維人臉識別中，局部特徵主要包括局部描述符、曲線特徵以及其他一些局部幾何特徵或統計特徵．
基於整體特徵的匹配：該類方法注重三維模型的整體特徵，主要分爲：
1)將三維人臉統一用深度圖表示，直接使用基於表觀的方法；
2)將三維人臉映射爲EGI(extendedGaussian image)，然後匹配EGI；
3)整體變換三維模型後再做匹配．
基於稀疏表徵的三維人臉表情識別研究
Paper：3D face recognition based on sparse representation
3D FaceRecognition Based on Local Shape Patterns and Sparse Representation Classifier
http://www.springerlink.com/content/n6670835u578k0r1/
Abstract
Inrecent years, 3D face recognition has been considered as a major solution todeal with these unsolved issues of reliable 2D face recognition, i.e.illumination and pose variations. This paper focuses on two critical aspects of3D face recognition: facial feature description and classifier design. Toaddress the former one, a novel local descriptor, namely Local Shape Patterns(LSP), is proposed. Since LSP operator extracts both differential structure andorientation information, it can describe local shape attributescomprehensively. For the latter one, Sparse Representation Classifier (SRC) isapplied to classify these 3D shape-based facial features. Recently, SRC hasbeen attracting more and more attention of researchers for its powerful abilityon 2D image-based face recognition. This paper continues to investigate itscompetency in shape-based face recognition. The proposed approach is evaluatedon the IV2 3D face database containing rich facial expression variations, andpromising experimental results are achieved which prove its effectiveness for3D face recognition and insensitiveness to expression changes.
Keywords 3D face recognition - local descriptor -Local Shape Patterns (LSP) - Sparse Representation Classifier (SRC)
近年來，三維人臉識別一直被視爲一個重要的解決方案，可靠的二維人臉識別，即光照和姿態變化來處理這些懸而未決的問題。本文側重於三維人臉識別的兩個關鍵方面：面部特徵的描述和分類設計。爲了解決前，一種新型的局部描述符，即局部形狀模式（LSP），建議。由於LSP的操作員提取差分結構和方向的信息，它可以全面描述當地的形狀屬性。對於後者，稀疏表示的分類器（SRC）被應用到這些三維形狀的面部特徵進行分類。最近，型鋼已吸引了越來越多研究者的關注，其強大的能力，基於二維圖像的人臉識別。本文繼續探討其形狀爲基礎的人臉識別能力。 IV2含有豐富的面部表情變化的三維人臉數據庫上所提出的方法進行評估，並取得前途的實驗結果證明其三維面部識別和表達的變化不敏感的成效。
基於稀疏表示的三維人臉識別：【基於三維特徵的人臉識別算法研究】
稀疏信號表示[78-81]（又被稱作壓縮感知）是一種非常有效的高維信號獲取、表示與壓縮方法。該方法的前提是高維信號內在存在一種自然稀疏基底的表示形式，而利用凸優化算法或者貪心算法能夠精準的計算出這種稀疏表示[82]。稀疏表示理論對傳統的信號處理應用有極大的推動作用，然而在計算機視覺領域，我們更關注圖像的內容或語義層次的表示，而不是簡潔、高保真的表示。近年來，隨着數學領域的研究發展，特別是對於1l 範數優化問題的研究突破，推動了稀疏表示在計算機視覺領域的應用，比如人臉識別[83]，圖像超分辨率[84]，動作和數據分割[85,86]，有監督的降噪和修復[87]，背景建模[88,89]和圖像分類[90]
等，這些研究均是稀疏表示在計算機視覺領域的成功應用。爲了進一步提高人臉表徵的精確性和魯棒性，進一步提升人臉識別算法性能，本章通過對稀疏表示理論的研究，深入探討了基於稀疏表示框架的三維人臉識別算法。
首先，提取了3 種三維人臉幾何特徵對原始人臉進行描述，由於三維人臉特徵的數據量龐大，嚴重影響了稀疏表示的應用，進而本章提出了一種基於元素的 Fisher 線性判別分析（e-FLDA）的三維人臉特徵排序挑選策略。該策略從龐大的人臉特徵信息中，挑選出少量對識別有效的人臉個性特徵，提高了算法的識別性能，降低了算法的計算代價，從而保障了稀疏表示理論在三維人臉識別中的應用。最後，稀疏表示框架被用來提取三維人臉的稀疏特徵，並利用重構殘差進行人臉識別。
研究背景：
近年來，稀疏表示已經被成功應用於基於圖像的人臉識別[83]研究中，並且取得了令人滿意的結果。在稀疏表示框架下，每個人臉樣本被表示成一組能夠有效刻畫該樣本本質屬性的特徵集。在相同人的人臉樣本數據之間相似度較高的先驗知識前提下，測試人臉可由訓練集中k 個該同類人臉參考樣本的一組線性表示近似表出，即測試人臉在訓練集中所有參考人臉組成的基底中具備固有的k 稀疏性[78]。相比傳統的人臉識別方法，基於稀疏表示框架的方法具有獨特的優勢。
首先，通過解決l0範數最小化優化問題，使測試人臉與少量訓練集中參考人臉關聯起
來，而且l0範數最小化優化問題的目標函數更適合人臉識別的最終任務；其次，由於稀疏表示固有的信源與誤差分離屬性，只要人臉的表徵方式具有充足的信息量，其他人臉無關特徵的介入不會使算法的識別性能下降；第三，在稀疏表示框架下，向訓練集中增加對象的樣本數量一定程度上能夠提高訓練集的稀疏特性，使得稀疏表示更準確、科學，但不會因過多樣本的介入使算法的識別性能下降，這與傳統的識別方法[70,71]不同。
儘管稀疏表示具有一定的優勢，但在人臉識別的應用領域，稀疏表示並不能根除一些實際應用問題帶來的障礙，比如人臉光照、姿態和表情等因素，這些因素可能對人臉樣本造成巨大扭曲、變形。爲解決這些問題，Wright 等人[83]提出通過對人臉訓練集進行更科學的組織設計，使之更適應外界因素的干擾，比如增加多樣性的訓練樣本，使訓練集覆蓋所有可能的擾動。然而，現有的實驗數據庫均很難滿足這個需求，而且實際應用中也很難滿足這項要求。
三維人臉數據因其對光照和姿態變化的不敏感性，越來越受到更多研究者的關注，有些研究者利用三維信息輔助二維人臉圖像信息進行人臉識別研究[91]。然而，三維人臉的應用也有一定的困難。首先，三維人臉網格或點雲數據連續特徵的缺失或三維人臉參數模型的不連貫性，使其利用統一的採樣模式直接進行對齊特徵的提取有一定難度，也阻礙了基於表觀的方法或稀疏表示框架的直接應用。另外，人臉表情等因素可能導致人臉全局網格的劇烈扭曲、變形，導致識別算法效率急劇下降[92,93]或計算代價極大增加[94,95]。
基於稀疏表示的人臉識別框架：
