SPADE 阅读笔记
@inproceedings{RN55,
author = {Park, Taesung and Liu, Ming-Yu and Wang, Ting-Chun and Zhu, Jun-Yan},
title = {Semantic image synthesis with spatially-adaptive normalization},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
pages = {2337-2346},
type = {Conference Proceedings}
}
Contribution
作者提出了 spatially-adaptive normalization（SPADE），用于在 semantic image synthesis 中更好地提供语义信息，而且 SPADE 也支持 multi-modal 和 style-guided image synthesis。
Important Points
- 作者认为以前论文中的normalization不是最优的，会 wash away 语义信息，所以提出了SPADE，用semantic map来更好地指导图片合成；
Motivation
Unconditional normalization layers 比如 BN、IN 没有利用外部数据进行归一化，Conditional normalization layers 比如 CBN、AdaIN 虽然利用了外部数据，但 affine parameters 是控制图片整体 style，没有 spatial 信息，所以对于semantic image synthesis 效果也不是很好。所以 SPADE 通过一个 spatially-varying affine transformation更好地指导图片合成。
Questions/Comments
- 和一些博客里写得类似，感觉SPADE像是一个attention模块和BN的组合；
- PSGAN中的AMM模块和SPADE类似，不过还用了其他attention机制来更好地修改第一次得到的spatially-varying affine parameters。