基本概念：
人臉識別就是對於輸入的人臉圖像或者視頻，首先判斷其中是否存在人臉，如果存在人臉，則進一步的給出每個人臉的位置、大小和各個主要面部器官的位置信息，並依據這些信息，進一步提取每個人臉中所蘊含的身份特徵，並將其與已知人臉庫中的人臉進行對比，從而識別每個人臉的身份。
人臉識別的過程可以分爲以下三個部分：
1、人臉檢測：判斷輸入圖像中是否存在人臉，如果有，給出每個人臉的位置，大小；
2、面部特徵定位：對找到的每個人臉，檢測其主要器官的位置和形狀等信息；
3、人臉比對：根據面部特徵定位的結果，與庫中人臉對比，判斷該人臉的身份信息；
從應用的角度，人臉識別包括兩大類：
1、人臉身份識別：即根據人臉圖像識別出人物的身份，解決是誰的問題；
2、人臉身份確認/驗證：判斷圖像中的人臉是否是指定的人，即解決是不是某人的問題；
人臉識別技術具有廣泛的應用前景，在國家安全、軍事安全和公共安全領域，智能門禁、智能視頻監控、公安布控、海關身份驗證、司機駕照驗證等是典型的應用；在民事和經濟領域，各類銀行卡、金融卡、信用卡、儲蓄卡的持卡人的身份驗證，社會保險人的身份驗證等具有重要的應用價值；在家庭娛樂等領域，人臉識別也具有一些有趣有益的應用，比如能夠識別主人身份的智能玩具、家政機器人，具有真實面像的虛擬遊戲玩家等等。
研究方向：
1、人臉檢測與跟蹤技術
顯然，要識別圖像中出現的人臉，首要的一點就是要找到人臉。人臉檢測與跟蹤研究的就是如何從靜態圖片或者視頻序列中找出人臉，如果存在人臉，則輸出人臉的數目、每個人臉的位置及其大小。人臉跟蹤就是要在檢測到人臉的基礎上，在後續的人臉圖像中繼續捕獲人臉的位置及其大小等性質。人臉檢測是人臉身份識別的前期工作。同時，人臉檢測作爲完整的單獨功能模塊，在智能視頻監控、視頻檢索和視頻內容組織等方面有直接的應用。
我們課題組提出並實現了一個複雜背景下的多級結構的人臉檢測與跟蹤系統，其中採用了模板匹配、特徵子臉、彩色信息等人臉檢測技術，能夠檢測平面內旋轉的人臉，並可以跟蹤任意姿態的運動的人臉。簡述如下:這種檢測方法是一個兩級結構的算法，對於掃描窗口，首先和人臉模板進行匹配，如果匹配，那麼將其投影到人臉子空間，由特徵子臉技術判斷是否爲人臉。模板匹配的方法是：按照人臉特徵，將人臉圖像劃分成14個不同區域，用每個區域的灰度統計值表示該區域，用整個樣本的灰度平均值歸一化，從而得到用特徵向量表示的人臉模板。通過非監督學習的方法對訓練樣本聚類，得到參考模板族。將測試圖像的模板與參考模板在某種距離測度下匹配，通過閾值判斷匹配程度。特徵子臉技術的基本思想是：從統計的觀點，尋找人臉圖像分佈的基本元素，即人臉圖像樣本集協方差矩陣的特徵向量，以此近似地表徵人臉圖像。這些特徵向量稱爲特徵臉(Eigenface)。實際上，特徵臉反映了隱含在人臉樣本集合內部的信息和人臉的結構關係。將眼睛、面頰、下頜的樣本集協方差矩陣的特徵向量稱爲特徵眼、特徵頜和特徵脣，統稱特徵子臉。特徵子臉在相應的圖像空間中張成子空間，稱爲子臉空間。計算出測試圖像窗口在子臉空間的投影距離，若窗口圖像滿足閾值比較條件，則判斷其爲人臉。
課題組還在人臉重心模板技術的基礎上改進並實現了一個複雜背景中、準實時的快速檢測人臉的系統。設計了人臉重心模板以實現人臉快速的定位，這些人臉模板具有多尺度的檢測功能，能適應於檢測處於複雜背景中任何位置的不同大小的人臉；人臉重心模板上的重心點對應於人臉模式上的各個器官(雙眉、雙眼、鼻和嘴)，重心點之間動態的二維空間約束關係適應於檢測具有不同構型的實際人臉。人臉重心模板的匹配是基於從Mosaic圖像上提取的重心點之上的，而Mosaic圖像是對人臉器官區域的一種很好的模糊或灰度平均處理，從起上可以很好的提取出各器官的位置，因而它教不易受特定人臉表情、紋理的影響；對於光照而言，由於光照並不改變人臉器官區域與其它區域的灰度高低不同的這一相對性質性質，所以它基本上不受光照影響。垂直人臉以縱軸向左右旋轉一定角度（- 45°~ +45°），由於人臉器官成水平分佈，不影響Mosaic橫邊和重心點的提取， 所以水平旋轉人臉的檢測也不受影響。
除此之外，我們還對國際上最新的研究成果基於AdaBoost的實時人臉檢測方法進行了跟蹤研究和實現，其檢測速度可以達到平均15幀/秒（圖像大小是384x288）。除此之外，他還可以很容易的擴展到多姿態人臉檢測上去。
2、面部關鍵特徵定位及人臉2D形狀檢測技術
在人臉檢測的基礎上，面部關鍵特徵檢測試圖檢測人臉上的主要的面部特徵點的位置和眼睛和嘴巴等主要器官的形狀信息。灰度積分投影曲線分析、模板匹配、可變形模板、Hough變換、Snake算子、基於Gabor小波變換的彈性圖匹配技術、主動性狀模型和主動外觀模型是常用的方法。我們課題組在這方面作了大量工作。
可變形模板的主要思想是根據待檢測人臉特徵的先驗的形狀信息，定義一個參數描述的形狀模型，該模型的參數反映了對應特徵形狀的可變部分，如位置、大小、角度等，它們最終通過模型與圖像的邊緣、峯、谷和灰度分佈特性的動態地交互適應來得以修正。由於模板變形利用了特徵區域的全局信息，因此可以較好地檢測出相應的特徵形狀。由於可變形模板要採用優化算法在參數空間內進行能量函數極小化，因此算法的主要缺點在於兩點：一、對參數初值的依賴程度高，很容易陷入局部最小；二、計算時間長。針對這兩方面的問題，我們採用了一種由粗到細的檢測算法：首先利用人臉器官構造的先驗知識、面部圖像灰度分佈的峯谷和頻率特性粗略檢測出眼睛、鼻子、嘴、下巴的大致區域和一些關鍵的特徵點；然後在此基礎上，給出了較好的模板的初始參數，從而可以大幅提高算法的速度和精度。
眼睛是面部最重要的特徵，它們的精確定位是識別的關鍵。我們還提出了一種基於區域增長的眼睛定位技術，該技術在人臉檢測的基礎上，充分利用了眼睛是面部區域內臉部中心的左上方和右上方的灰度谷區這一特性，可以精確快速的定位兩個眼睛瞳孔中心位置。該算法採用了基於區域增長的搜索策略，在人臉定位算法給出的大致人臉框架中，估計鼻子的初始位置，然後定義兩個初始搜索矩形，分別向左右兩眼所處的大致位置生長。該算法根據人眼灰度明顯低於面部灰度的特點，利用搜索矩形找到眼部的邊緣，最後定位到瞳孔的中心。實驗表明，本算法對於人臉大小、姿態和光照的變化，都有較強的適應能力，但在眼部陰影較重的情況下，會出現定位不準。佩戴黑框眼鏡，也會影響本算法的定位結果。
主動形狀模型（ASM）和主動外觀模型（AAM）是近年來流行的一般對象形狀提取算法，其核心思想是在某種局部點模型匹配的基礎上，利用統計模型對待識別的人臉的形狀進行約束，從而轉化爲一個優化的問題，並期望最終收斂到實際的人臉形狀上去。我們對ASM和AAM進行了跟蹤研究，發現了ASM的一些缺點，在局部模型和局部特徵約束方面作了一些改進，同時，注意到ASM速度快，精度較低，而AAM複雜度高、速度慢的缺點，我們建立了二者的融合模型，並取得了初步的結果。
基於圖像和形狀之間的相關性，我們還提出了一種基於圖像樣例的形狀學習算法，首次將學習策略引入了形狀提取中，初步的實驗表明該算法具有良好的性能。
3、人臉確認與識別技術
主流的人臉識別技術基本上可以歸結爲三類，即：基於幾何特徵的方法、基於模板的方法和基於模型的方法。基於幾何特徵的方法是最早、最傳統的方法，通常需要和其他算法結合纔能有比較好的效果；基於模板的方法可以分爲基於相關匹配的方法、特徵臉方法、線性判別分析方法、奇異值分解方法、神經網絡方法、動態連接匹配方法等。基於模型的方法則有基於隱馬爾柯夫模型，主動形狀模型和主動外觀模型的方法等。特徵臉方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有簡單有效的特點，現在 Eigenface算法已經與經典的模板匹配算法一起成爲測試人臉識別系統性能的基準算法；而自1991年特徵臉技術誕生以來，研究者對其進行了各種各樣的實驗和理論分析，FERET"96測試結果也表明，改進的特徵臉算法是主流的人臉識別技術，也是具有最好性能的識別方法之一。
近年來，我們在對特徵臉技術進行認真研究的基礎上，嘗試了基於特徵臉特徵提取方法和各種後端分類器相結合的方法，並提出了各種各樣的改進版本或擴展算法，主要的研究內容包括線性/非線性判別分析(LDA/KDA)、Bayesian概率模型、支持矢量機（SVM）、人工神經網絡(NN)以及類內和類間雙子空間(inter/intra-class dual subspace)分析方法等等。
針對Eigenface算法的缺點，我們提出了特定人臉子空間(FSS)算法。該技術來源於但在本質上區別於傳統的"特徵臉"人臉識別方法："特徵臉"方法中所有人共有一個人臉子空間，而我們的方法則爲每一個體人臉建立一個該個體對象所私有的人臉子空間，從而不但能夠更好的描述不同個體人臉之間的差異性，而且最大可能地擯棄了對識別不利的類內差異性和噪聲，因而比傳統的"特徵臉算法"具有更好的判別能力。另外，針對每個待識別個體只有單一訓練樣本的人臉識別問題，我們提出了一種基於單一樣本生成多個訓練樣本的技術，從而使得需要多個訓練樣本的個體人臉子空間方法可以適用於單訓練樣本人臉識別問題。在Yale人臉庫、本實驗室350人圖像庫上的對比實驗也表明我們提出的方法比傳統的特徵臉方法、模板匹配方法對錶情、光照、和一定範圍內的姿態變化具有更好的魯棒性，具有更優的識別性能。
彈性圖匹配技術是一種基於幾何特徵和對灰度分佈信息進行小波紋理分析相結合的識別算法，由於該算法較好的利用了人臉的結構和灰度分佈信息，而且還具有自動精確定位面部特徵點的功能，因而具有良好的識別效果，該技術在FERET測試中若干指標名列前茅，其缺點是時間複雜度高，實現複雜。我們對該算法進行了研究，並提出了一些啓發策略。
研究關鍵問題：
a) 人臉識別中的光照問題
光照變化是影響人臉識別性能的最關鍵因素，對該問題的解決程度關係着人臉識別實用化進程的成敗。我們將在對其進行系統分析的基礎上，考慮對其進行量化研究的可能性，其中包括對光照強度和方向的量化、對人臉反射屬性的量化、面部陰影和照度分析等等。在此基礎上，考慮建立描述這些因素的數學模型，以便利用這些光照模型，在人臉圖像預處理或者歸一化階段儘可能的補償乃至消除其對識別性能的影響。重點研究如何在從人臉圖像中將固有的人臉屬性（反射率屬性、3D表面形狀屬性）和光源、遮擋及高光等非人臉固有屬性分離開來。基於統計視覺模型的反射率屬性估計、3D表面形狀估計、光照模式估計，以及任意光照圖像生成算法是我們的主要研究內容。具體考慮兩種不同的解決思路：
1、 利用光照模式參數空間估計光照模式，然後進行鍼對性的光照補償，以便消除非均勻正面光照造成的陰影、高光等影響；
2、 基於光照子空間模型的任意光照圖像生成算法，用於生成多個不同光照條件的訓練樣本，然後利用具有良好的學習能力的人臉識別算法，如子空間法，SVM等方法進行識別.
b) 人臉識別中的姿態問題研究
姿態問題涉及頭部在三維垂直座標系中繞三個軸的旋轉造成的面部變化，其中垂直於圖像平面的兩個方向的深度旋轉會造成面部信息的部分缺失。使得姿態問題成爲人臉識別的一個技術難題。解決姿態問題有三種思路：
第一種思路是學習並記憶多種姿態特徵，這對於多姿態人臉數據可以容易獲取的情況比較實用，其優點是算法與正面人臉識別統一，不需要額外的技術支持，其缺點是存儲需求大，姿態泛化能力不能確定，不能用於基於單張照片的人臉識別算法中等。
第二種思路是基於單張視圖生成多角度視圖，可以在只能獲取用戶單張照片的情況下合成該用戶的多個學習樣本，可以解決訓練樣本較少的情況下的多姿態人臉識別問題，從而改善識別性能。
第三種思路是基於姿態不變特徵的方法，即尋求那些不隨姿態的變化而變化的特徵。我們的思路是採用基於統計的視覺模型，將輸入姿態圖像校正爲正面圖像，從而可以在統一的姿態空間內作特徵的提取和匹配。
因此，基於單姿態視圖的多姿態視圖生成算法將是我們要研究的核心算法，我們的基本思路是採用機器學習算法學習姿態的2D變化模式，並將一般人臉的3D模型作爲先驗知識，補償2D姿態變換中不可見的部分，並將其應用到新的輸入圖像上去。