圖像合成——《Semi-parametric Image Synthesis》閱讀筆記

1. 根據大致的草圖框架（語義佈局法），深度神經網絡現在可以直接合成真實效果的圖片。
2. 參數模型（parametric models）的優點是具有高度的表現力，可進行端到端的訓練。非參數模型（Non-parametric models）的優點是可以在測試時提取大型的真實圖片數據集裏的素材。
3. 集結這兩種方法的優勢，提出了SIMS（半參數模型）
4. SIMS工作思路：
   （1）先用大型真實圖像數據集先訓練非參數模型，相當於獲得了一個合成素材庫；
   （2）然後基於語義佈局（Semantic layout），把這些素材填充進去，就像一張圖被分割成好幾個版塊之後，再往上打補丁充實細節。接縫的地方，深度網絡會自行融合，並計算好版塊之間物體的空間關係，進一步加強視覺的真實效果。

reference