CVPR 2018 Session 1-1B：Analyzing Humans in Image I

Oral

1. [A7] Finding Tiny Faces in the Wild With Generative Adversarial Network, (小區域人臉識別)

小區域人臉識別: Yancheng Bai, Yongqiang Zhang, Mingli Ding, Bernard Ghanem KAUST

1. 【問題】圖像中的小像素的人臉難識別（Eg. 3x3像素人臉），圖像金字塔會模糊圖像；
2. 【創新 #Step1】Super-Resolution+Refinement Network 產生尖銳的圖像；discriminator 判別“真假人臉”與“是否人臉”；
3. 【創新 #Step2】使用MB-FCN探測器作爲Baseline，訓練 生成器和判別器；
4. 【創新 #Step3】Gan Network的Loss可以看作min-max的問題（使用GANZ）；

---

2. [A10] Learning Face Age Progression: A Pyramid Architecture of GANs, (GAN年齡生成)

GAN年齡生成: Hongyu Yang, Di Huang, Yunhong Wang, Anil K. Jain

• 傳統的人臉年齡研究方法：
  • 基於機器仿真（Mechanical simulation based）；
  • 基於老化函數（Aging function based）；
  • 基於原始模型（Prototyping pattern based）；
• 存在限制：
  • 年齡處理具有複雜性（Complex）；
  • 機器仿真難以精確表示年齡（cannot be accurately formulated）；
  • 年齡的數據不夠充足（not rich enough）；

Paper內容：

1. 【問題】準確預測年齡、無法保留身份特徵、生成完全人臉 前額和頭髮有影響；
2. 【動機】GAN網絡年齡生成器、identity cue preservation in a coupled manner、Handling age transformation in a fine-grained way；
3. 【方法】Loss：Age Transformation Loss + Identity Preservation Loss + Piel Level Loss；
4. 【數據集】MORPH + CACD + FG-NET；
5. 【評價指標】Visual Fidelity、Aging Accuracy、Identity Permanence、Comparison to State-Of-The-Art；
6. 【總結】GAN網絡年齡生成方法、判別器提成年齡合成的準確度 、提升有效性和魯棒性；

---

3. [B2] PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup, (風格遷移)

風格遷移: Huiwen Chang, Jingwan Lu, Fisher Yu, Adam Finkelstein

• 【問題】有圖像作爲輸入，不知圖像的對稱輸出；
• 【解決】使用Asymmetric，風格遷移對應兩個不對稱函數：
  1. 前向 Forward：傳遞化妝風格；
  2. 後向 Backward：刪除化妝風格；
• 【創新】建立兩個耦合網絡，輪換訓練 最終生成的圖片效果爲原圖；
  

5. 【方法】遷移化妝 - 五官segmentation問題：增加phase passer，各個提取五官訓練；
6. 【實驗和問題】使用Resnet效果更好，但重建面部無法還原細節；

---

Spotlights (S1-1B)

1. [B5] GANerated Hands for Real-Time 3D Hand Tracking From Monocular RGB, (姿態估計 輸入圖像輸出3D姿態)

姿態估計 輸入圖像輸出3D姿態: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, Christian Theobalt

輸入手勢圖片輸出3D手勢

• 【方法】訓練數據集：使用3D軟件生成；

---

2. [B8] Learning Pose Specific Representations by Predicting Different Views, (半監督人體語意分割)

半監督人體語意分割: Georg Poier, David Schinagl, Horst Bischof

由人體相似性 給未標記的人體部位做語意分割；

• 方法：
  1. 找到數據集中相似的人體；
  2. 生成部分先驗，做粗略標註；
  3. 用FCN，對標籤做圖像細化；

---

3. [B14] Person Transfer GAN to Bridge Domain Gap for Person Re-Identification, (複雜場景數據集風格不統一)

複雜場景數據集風格不統一: Longhui Wei, Shiliang Zhang, Wen Gao, Qi Tian

• 【問題】現有數據集不能模擬真實情況：
  • 數據集：小區域、固定場景、拍攝時間跨度、固定照明條件；
  • 真實條件：大範圍、複雜場景、長時間跨度；
  • 不同數據集訓練範化不好：不同 光照、背景、攝影參數；
  • We need to bridge Domain Gap;
• 【創新】貢獻MSMT17，有15個相機同時拍攝；
• 【創新】使用PTGAN轉換：背景、光照，同時保持身份不變；對比CycleGan，PTGAN有效保持身份信息；
• 數據集：CUHK03、PRID、MSMT17、Market、VIPeR；

---

4. [B17] Cross-Modal Deep Variational Hand Pose Estimation, (3D手勢姿勢)

3D手勢姿勢: Adrian Spurr, Jie Song, Seonwook Park, Otmar Hilliges

• 【問題】預測3D手勢姿勢 遇到遮擋
  1. 從數據中學習多種多樣的分佈；
  2. 在輸入方式中是一致的；
• 【方法】檢索手部關節 從特徵點分佈預測手姿勢；
  
• 【方法】cross-modal 訓練 （PS：多模態學習）；

---

5. [B20] Disentangled Person Image Generation, (生成模型學習)

生成模型學習 (Foreground Background Pose): Liqian Ma, Qianru Sun, Stamatios Georgoulis, Luc Van Gool, Bernt Schiele, Mario Fritz

• 【任務】合成單獨控制 “前向 後向 和 姿勢”
• 【關鍵點】分解人物到三個部分然後合併；
• 【方法】Pix2Pix、CycleGAN、PG2 相結合；
  
  • Stage-1: 訓練Embedding Feature；
  • Stage-2: 利用高斯分佈訓練Embedding Feature；

---

6. [C1] Super-FAN: Integrated Facial Landmark Localization and Super-Resolution of Real-World Low Resolution Faces in Arbitrary Poses With GANs, (面部標定與低分辨率人臉姿態)

面部標定與低分辨率人臉姿態: Adrian Bulat, Georgios Tzimiropoulos
1. 【方法】提高分辨率 引入新的結構損失爲基礎；
2. 【方法】網絡結構：
3. 【創新】Heatmaps Loss 保護面部結構；
4. PSNR - 峯值信噪比；SSIM - 結構相似性：亮度 對比度 結構 比較；

---

7. [C4] Multistage Adversarial Losses for Pose-Based Human Image Synthesis, (多角度人體位置合成)

多角度人體位置合成: Chenyang Si, Wei Wang, Liang Wang, Tieniu Tan

• 【方法】基於位置的人體圖像和成方法；
• 【方法】多級對抗性損失；
• 數據集： Human 3.6M；