[ICCV2019] Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis

作者:Patrick Esser,Heidelberg University, Germany


Disentanglement

何谓解耦。举例说明下:一张人像图,普通编码器会将这幅图的所有信息进行编码,包括人的外观,姿势,背景等,但这些特征是耦合的,即在改变编码向量时,你无法单独改变某一特征,而不影响其他特征;而disentangle意味着图像中这些不同的特征在编码后,可以单独改变而不相互影响。

本文中把图像分为两个独立特征, pose π 和 appearance α.
在这里插入图片描述

distanglement有两类主要方法,一是变分法,二是对抗法。

对抗法的缺点在于,encoder能通过鉴别器的梯度,产生entangled的表征以欺骗分类器认为是disentangled。本文的贡献即在于,额外使用了一个分类器来检测这种情况,当检测到该欺骗情况时,加大KL正则项;反之减小。

Method

在这里插入图片描述

Results

在这里插入图片描述
在这里插入图片描述

我的笔记

粗略阅读,有大量公式及细节部分有待了解

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章