[ICCV2019] Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis

作者:Patrick Esser,Heidelberg University, Germany


Disentanglement

何謂解耦。舉例說明下:一張人像圖,普通編碼器會將這幅圖的所有信息進行編碼,包括人的外觀,姿勢,背景等,但這些特徵是耦合的,即在改變編碼向量時,你無法單獨改變某一特徵,而不影響其他特徵;而disentangle意味着圖像中這些不同的特徵在編碼後,可以單獨改變而不相互影響。

本文中把圖像分爲兩個獨立特徵, pose π 和 appearance α.
在這裏插入圖片描述

distanglement有兩類主要方法,一是變分法,二是對抗法。

對抗法的缺點在於,encoder能通過鑑別器的梯度,產生entangled的表徵以欺騙分類器認爲是disentangled。本文的貢獻即在於,額外使用了一個分類器來檢測這種情況,當檢測到該欺騙情況時,加大KL正則項;反之減小。

Method

在這裏插入圖片描述

Results

在這裏插入圖片描述
在這裏插入圖片描述

我的筆記

粗略閱讀,有大量公式及細節部分有待了解

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章