摘要：
2000年，Cohn-Kanade（CK）數據庫被髮布，目的是促進自動檢測個人面部表情的研究。此後，CK數據庫已經成爲最廣泛使用的算法開發和評估測試平臺之一。在此期間，也出現三種不足：1）雖然AU代碼得到很好的驗證，但情感標籤並沒有，它指代指所要求的，而不是實際執行的內容; 2）缺乏評估新算法的性能指標，以及3）普通數據庫的標準協議尚未出現。因此，CK數據庫已被用於AU和情感檢測（儘管後者的標籤尚未得到驗證），相較於基準算法這是不足，原始數據庫的隨機子集的使用使得meta分析困難。爲了解決這些和其他問題，我們提供了擴展Cohn-Kanade（CK +）數據庫。序列數增加了22％，受試者數量增加了27％。每個序列的目標表達式完全是FACS編碼的，情感標籤已被修改和驗證。除此之外，還添加了幾種類型的微笑的非提交序列及其相關元數據。我們使用活動外觀模型（AAM）和線性支持向量機（SVM）分類器使用用於所提供的數據的AU和情感檢測的leaveone-out對象交叉驗證來呈現基線結果。情感和AU標籤，以及擴展的圖像數據和跟蹤的地標將於2010年7月提供。
1、引言：
自動檢測面部表情已成爲越來越重要的研究領域。 它涉及計算機視覺，機器學習和行爲科學，可用於許多應用。
我們使用我們的活動外觀模型（AAM）/支持向量機（SVM）系統來呈現基線結果。
2. The Extended Cohn-Kanade (CK+) Dataset
2.1圖片數據
正面視圖和30度視圖的圖像序列被數字化爲具有8位灰度或24位顏色值的640x490或640x480像素陣列。
2.1.1面部表情Posed Facial Expressions
2.1.2 Non-posed Facial Expressions
2.2. Action Unit 標籤
2.2.1 Posed Expressions
對於593個提出的序列，提供了峯值幀的完整FACS編碼。 大約15％的序列被第二個認證的FACS編碼器進行了比較編碼。
2.2.2 Non-posed Expressions
動作單元的一部分被編碼爲存在/不存在。
這些是AU 6，AU 12，微笑控制（AU 15，AU 17，AU 23/24）和AU 25/26。 對20％的笑容進行比較編碼。 Cohens kappa係數測量的協調器協議是AU 6的0.83和微笑控制的0.65。
2.3. Validating Emotion Labels
2.3.1 Posed Expressions
我們根據主題對7種基本情感類別中的每一種的印象，包括593個序列的標題情感標籤的所有圖像數據：憤怒，蔑視，厭惡，恐懼，快樂，悲傷和驚喜。 使用這些標籤作爲基本真相是非常不可靠的，因爲這些模擬通常與FACS概述的刻板定義不同。 這可能導致影響系統訓練的真實數據的錯誤。 因此，我們已經按照FACS編碼的情緒標籤標記了CK +。 選擇過程分3步。
圖1. CK +數據庫的示例。 頂層的圖像歸屬於原始的CK數據庫，底部的圖像代表擴展數據。 數據庫中都有8個情緒和30個AU。 情緒和非常標籤的例子是：（a）噁心 - AU 1 + 4 + 15 + 17，（b）Happy - AU 6 + 12 + 25，（c）驚喜 - AU 1 + 2 + 5 + 25 + 27 ，（d）恐懼 - AU 1 + 4 + 7 + 20，（e）憤怒 - AU 4 + 5 + 15 + 17，（f）蔑視 - AU 14，（g）悲傷 - AU 1 + 2 + 4 + 15
+17，（h）中性 - AU0
2.3.2 Non-Posed Smiles
3. Baseline System
在我們的系統中，我們使用基於活動外觀模型（AAM）的系統，它使用AAM來跟蹤臉部並提取視覺特徵。 然後，我們使用支持向量機（SVM）對面部表情和情緒進行分類。 我們的系統概述如圖2所示。我們在以下小節中描述了這些模塊。
3.1. Active Appearance Models (AAMs)
AAM已經被證明是將具有線性外觀變化的預定義線性形狀模型與包含感興趣對象的先前未見的源圖像對準的良好方法。 通常，AAM通過梯度下降搜索來適應其形狀和外觀成分，儘管其他優化方法也有相似的結果。
AAM 的形狀由2D三角網格描述。 特別地，網格頂點的座標定義形狀s = [x1;Y1;X2;Y2; ：：：XN; yn]，其中n是頂點的數量。 這些頂點位置對應於源外觀圖像，形狀對齊。 由於AAM允許線性形狀變化，形狀s可以表示爲基本形狀s0加上m個形狀向量的線性組合si：
3.2. Feature Extraction
一旦我們通過估計形狀和外觀AAM參數來跟蹤人的臉部，我們可以使用這些信息來推導出以下特徵：
SPTS：相似性歸一化形狀sn指的是x和y座標中sn中的68個頂點，導致原始的136維特徵向量。
CAPP：規範化標準化外觀a0反映所有非剛性形狀變化相對於基礎形狀s0歸一化的地方。對於這項研究，使用得到的87×93合成灰度圖像。
3.3. Support Vector Machine Classification
支持向量機（SVM）已經被證明在許多模式識別任務中是有用的，包括面部和麪部動作識別。 SVM嘗試找到最大化指定類的正和負觀察值之間的邊界的超平面。 對未標記的測試觀察x *進行線性SVM分類判定。
圖2.我們的自動系統框圖。 使用AAM跟蹤臉部，從中我們得到相似性歸一化形狀（SPTS）和規範外觀（CAPP）特徵。 這兩個特徵都用於使用線性SVM進行分類。
4. Experiments
4.1. Benchmarking Protocol and Evaluation Metric 、
我們記錄了可以對CK +數據庫的建議部分進行的兩種類型的實驗：（i）AU檢測和（ii）情感檢測。爲了最大限度地提高培訓和測試數據的數量，我們認爲應該使用一個允許的主題交叉驗證配置。這意味着AU檢測
4.2. AU Detection Results
對於相似性正規化形狀（SPTS）和規範外觀（CAPP）特徵以及兩個特徵的組合的AU檢測的結果在表4中給出。
4.3. Emotion Detection Results
表5給出了情緒檢測的形狀特徵（SPTS）的表現，可以看出，與其他情緒相比，噁心，幸福和驚喜都表現良好。這個結果是直觀的
5. Conclusions and Future Work
在本文中，我們已經爲那些想要自動面部表情檢測的原型和基準系統的研究人員描述了擴展CohnKanade（CK +）數據庫。由於原始Cohn-Kanade數據集的流行度和易用性，這被認爲是已經存在的已經存在的語料庫的非常有價值的補充。
轉載：http://blog.csdn.net/yinghua2016/article/details/77323537