[論文筆記]AttGAN: Facial Attribute Editing by Only Changing What You Want(2017 CVPR)

AttGAN: Facial Attribute Editing by Only Changing What You Want(2017 CVPR)

文章簡介：

本文研究面部屬性編輯任務，其目的是通過操作單個或多個感興趣的屬性(如頭髮顏色、表情、鬍鬚和年齡)來編輯面部圖像。

• Dataset: CelebA
• 比較算法: FaderNetwork, VAE/GAM, IcGAN等
• 方法特點: 現有方法(如FaderNetwork)中有一些有attribute-independent約束，然而這個約束對於latent presentation的生成是一點"要求過度"，最終可能會導致信息的丟失，導致生成效果不佳，本文是通過引入一個attribute classification constraint來使得更加精確地去修改屬性。
• 效果初覽:

Contribution:

• 移除了嚴格的attribute-independent約束，僅需要通過attribute classification來保證正確地修改屬性
• 整合了attribute classification constraint、reconstruction learning、adversarial learning，使得結果生成效果非常好
• 可以直接控制屬性強度，從而可以自然地完成風格變換

Method Struct:

• 測試階段
  首先使用一個$G_{enc}$將$x^a$轉換爲latent representations，其中$a$是一個二值屬性列表
  $z = G_{enc}(x^a)$
  然後將目標屬性$b$加入進來，利用$G_dec$進行decode
  $x^{\hat{b}}=G_{dec}(z,b)$
  上述結果的輸出$x^{\hat{b}}$就是我們想要生成的結果

• 訓練階段
  訓練的目標爲：僅修改想要進行改變的attribute而對其他細節應該要保持不變

  • attribute classifier的目標就是在對$x^{\hat{b}}$進行預測時，其預測結果標籤應爲$b$。其中$b$是一個二值列表。
    該分類器在訓練時，是有監督的
  • adversarial learning用於$x^{\hat{b}}$是爲了讓生成結果更加逼真
  • reconstruction learning的目標是令latent representations $z$包含足夠的信息，同時能令$G_{dec}$能夠通過$z$進行比較好的重建
    $x^{\hat{a}}=G_{dec}(z, a) 並且x^{\hat{a}}\approx x^a$

Method extension(style): 其生成模型可以表示爲
$x^{\hat{\theta}\hat{b}}= G_{dec}(G_{enc}(x^a), \theta, b)$
下圖就是對Attribute Classification Constraint進行修改後的結構圖，其中$Q$是style predictor

---

如果覺得我有地方講的不好的或者有錯誤的歡迎給我留言，謝謝大家閱讀（點個贊我可是會很開心的哦）~