1 前言
傳統算法做美妝遷移的時候，如下圖所示，把 A* 的美妝遷移到 B 上面。但是這樣會有一些問題：
- A 和 A* 難以同時獲得
- A 和 B 要做對齊工作
- 其他
而 LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup 這篇文章，解決了上述的一些缺點，其效果特色在於：
- 同時實現化妝和卸妝效果；
- 美妝遷移後的人臉的面部細節保留好。
其技術特點在於：
- 局部對抗網絡；
- 基於人臉特徵點的多個重疊判斷器。
如下圖：
2 技術原理
2.1 生成器
生成器架構如下圖所示，生成器採用 U-Net，其中的編碼器獲得高緯度的人臉的風格特徵（attribute）和內容特徵（context）。交叉組合通過解碼器得到美妝後的人臉和卸妝人臉。
2.2 判別器
判別器的整體架構如下所示，除了2個 global 的判別器，額外引入 local discriminator。對於每一個樣本，人工生成一個合成的標籤 W（我不知道這個仿真的技術手段，如果有人瞭解的話，歡迎一起討論。另外如果人工能合成標籤了，還要這個算法幹啥（難道是合成標籤成本太大，而算法成本低？但是這個算法是建立在合成數據的訓練上的啊。這也是我非常不理解的地方。我重新理解了下，這個合成標籤根據人臉特徵點將參考妝容強行弄到了待遷移的人臉上，會產生瑕疵，而網絡可以消除瑕疵。））。局部判別器是基於人臉特徵點生成的，數量可控。根據論文效果展示，越多越好。
2.3 損失函數
損失函數的設計難點在於如何在美妝遷移以及卸妝的過程中，能夠保留人臉的高頻局部信息。
總損失 = 局部對抗損失+ 全局對抗損失 + 重建損失（這個損失靈感來自 CycleGAN） + KL 損失（爲了使得無化妝人臉和化妝人臉在生成器中提取的內容特徵接近高斯分佈） + 高階損失（化妝局部判別器中保留人臉局部細節信息，特徵用拉普拉斯濾波強化） + 平滑損失（卸妝局部判別器中去除妝容中的高頻信息，特徵用拉普拉斯濾波器強化）
畢竟傳統 GAN 只有個全局對抗損失，我不得不說這個損失函數設計也是屌的一匹。但我個人其實持懷疑態度，又沒有消融試驗的結果對吧。
3 啓發
結果我就不展示了，啓發如下：
- 局部判別器對於細節的提取；
- loss 中對於高頻的消除與保護；
- 美妝遷移（卸妝）思路在其他圖像領域的應用。