A Discriminative Feature Learning Approach for Deep Face Recognition - 人臉識別 - Center Loss

Paper name

A Discriminative Feature Learning Approach for Deep Face Recognition

Paper Reading Note

URL: https://ydwen.github.io/papers/WenECCV16.pdf

TL;DR

該文章提出了center loss用於增強模型生成的人臉feature的可判別性，center loss與softmax loss共同監督訓練模型可以使人臉識別精度有一定提升。

---

Introduction

• 在傳統的基於深度卷積神經網絡的分類任務中，如通用物體識別、場景識別、動作識別等，都是在訓練集中就包含了所有需要測試的樣本的類別，也就是說測試集中有的label在訓練集中也會出現，在這種情況下，如下圖所示，label prediction的過程可以看作是一個線性分類器，並且學習到的特徵也通常是容易被分開的。但是在人臉識別任務中，基於softmax loss計算得到的feature僅僅是separable的，而需要下圖所示的discriminative的feature則需要對loss function進行改進。作者提出了新的center loss來增加模型生成的feature的可判別性。
  

---

Dataset/Algorithm/Model/Experiment Detail

數據集

• LFW
  包含5749個id的13233張網絡收集圖片，經典人臉識別數據集。
  

• YTF
  包含1595個不同人的3425個視頻，平均每個人有大約2.15段視頻數據，視頻的長度分佈從48幀到6070幀，平均每個視頻有181.3幀。
  

• MegaFace
  人臉識別領域最大的公開數據集之一，包含底庫數據集（Gallery set）和待搜索數據集（Probe set）。底庫數據集包含69萬不同人的一百萬張人臉圖片，是雅虎Flickr photo數據集的一個子集。待搜索數據集中包含兩個已存的公開數據集Facescrub和FGNet，其中Facescrub數據集包含530個不同人的十萬張照片，其中55742張男性與52076張女性。另外FGNet數據集是人臉年齡數據集，包含82個人的1002張圖片。

實現方式

• center loss的提出：
  其實這篇文章的創新點就是center loss的提出。作者首先在mnist數據集上做了簡單的實驗來測試基於softmax損失訓練得到的特徵的可辨別性，如下圖所示，作者將模型輸出的feature控制在兩個維度，即可將不同類別的feature在二維空間上進行可視化， 可以看出不管是在訓練集還是測試集上，不同類別在特徵空間上僅僅是separable而不是discriminative enough，也就是說不同類別的樣本在映射到特徵空間上時類間距離不夠明顯，類內距離也不夠緊湊。
  
  作者因此想到使用center loss來對模型生成的feature做進一步約束。center loss的定義如下：
  
  其中Cyi代表類別爲yi的所有feature的中心，具體來說即在訓練過程中對每個類別在minibatch尺度上統計出該類別feature的中心，希望所有feature離中心的距離都儘量小。
  計算Lc對於xi的梯度的公式如下（3）式所示，就是簡單求導；類別中心的更新距離方式如（4）所示，具體來說就是對於每個類別j，將j類別中心減去每個j類別feature的值取平均，以此作爲類別中心更新的步進值：
  

• center loss 與softmax loss聯合監督優化
  

• 基於上述center loss的特徵學習算法：
  

• 在之前所述的在mnist數據集上測試特徵在空間上的可判別性試驗中，加入了center loss後可明顯增加樣本在特徵空間中的可判別性，如下圖所示：
  

• 用於人臉識別訓練的具體模型結構，其中後面三個卷積層使用local conv
  

實驗結果

• 實驗細節
  作者使用了基於5點人臉關鍵點(人臉關鍵點檢測和對齊方法，也是該論文作者的工作)給訓練集中的人臉進行對齊，值得注意的是作者會在訓練集中去除人臉關鍵點檢測失敗的圖片（可能是通過卡置信度閾值？），但是在測試集中作者會選擇使用已標註好的關鍵點。

• LFW 和 YTF數據集上實驗結果，取得了優異的成績，比該論文結果高的使用了更多的訓練數據集，比如說FaceNet。

  • 其中model A是僅使用softmax loss
  • model B是使用softmax loss加上contrastive loss
  • model C是使用softmax loss加上centerloss
    

• MegaFace數據集上的實驗結果，取得了優異的效果
  
  
  

Thoughts

該論文思路很簡單，就是發現了softmax loss存在的生成feature可判別力不強的情況所以提出了新的center loss用於進一步提升生成的feature的可判別性。其中在mnist數據集上做的實驗可視化效果很好，這是在未來做實驗中展示idea時可以借鑑的地方。