人臉屬性——多任務

《Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach》
Hu Han, Member, IEEE, Anil K. Jain, Fellow, IEEE, Fang Wang,
Shiguang Shan, Senior Member, IEEE and Xilin Chen, Fellow, IEEE (PAMI- 2017)

Introduction：
人臉屬性的識別在社會交互，提供了非常廣泛的信息，基於人臉屬性識別的場景越來越多，但是現有大部分方法限制在預測單個屬性（如：age, hair style, clothing等），或者針對每一個屬性學習一個model進行識別。爲了解決上述的侷限性，已經有很多工作在嘗試聯合預測多個屬性。但是這些方法都有或多或少的不足：

考慮到了不同屬性之間可能存在一定聯繫但是卻可能造成屬性間不同排列組合數量的爆炸式增長造成學習效率較低
沒有考慮到不同類型屬性的相關性和異構性 (e.g., ordinal vs. nominal and holistic vs. local)
不是端對端的學習方法

上圖展示了人臉屬性的相關性以及多樣性，單個屬性可以是多樣的（根據數據類型或者數據量，以及語義等），單個屬性之間也存在着較大的聯繫。

Proposed Algorithm：
　　本文提出一種Deep Multi-Task Learning (DMTL) approach來聯合估計單張圖像中的多個屬性，考慮到了attribute correlation以及attribute heterogeneity。DMTL在前期會進行共享特徵的提取，後期會分別學習得到特定類型的特徵以進行多個屬性的預測。共享的特徵學習階段自然地探索了多個task之間的相關性，這可以更加魯棒以及有效的進行特徵的表達。
主要貢獻：
(i) 一種有效的多任務學習方法(MTL)，用於對大量數目的人臉屬性進行聯合估計;
(ii) 在單個網絡中同時進行屬性相關性和屬性異質性的模型構建;
(iii) 研究MTL在跨數據庫測試場景下的泛化能力

Deep Multi-task Learning
本文的目標是，用一個聯合的預測模型，同時預測多個人臉屬性。當大量face attributes給特徵學習帶來效率上的挑戰的同時，也讓我們有機會去探索屬性之間的聯繫。例如，CelebA dataset中的各個屬性之間就有很強的關聯，如下圖所示：

因此，利用多任務框架進行人臉屬性的檢測也就勢在必得了。由於單個屬性的異質性, 從face image space到attribute space的映射，通常是非線性的。但是the joint attribute estimation model卻可以捕獲到複雜和綜合的非線性變換，而且CNN model是一種有效處理MTL以及nonlinear transformation learning的方法，我們最終選擇基於CNN的多任務框架來完成該任務：
傳統的DMTL model進行聯合的屬性預測可以通過最小化正則化誤差函數來實現，目標函數如下：

這種方法通過並行構建多個CNN來學習多種屬性，但是不同的屬性之間可能存在相同的特徵，它並沒有充分考慮到屬性之間的相互聯繫。因此，作者將上述表達式改爲下面的形式：

其中，Wc 控制了人臉屬性共享特徵，Wj 控制了共享特徵的更新

Heterogeneous Face Attributes Estimation：
儘管上述DMTL在特徵學習過程中用到了屬性間的關聯性，但是單個屬性的異質性仍然需要考慮。我們分別對待每一個異質的屬性類別，但是每一個類別的屬性都希望能夠共享feature learning 以及 classification model。因此，作者重新設置了目標函數：

其中，G是異質屬性類別的個數，Mg是每個屬性類別中屬性的數量;λg平衡每個屬性類別的重要性(默認爲1);Wg可以調節每個異質性屬性類別的共享特性。