CVPR2020論文筆記-風格遷移方向（一）

CVPR2020論文筆記：Diversified Arbitrary Style Transfer via Deep Feature Perturbation

概述

提出了一種利用正交隨機噪聲矩陣對WCT的過程進行修改的方法，從而能夠讓風格遷移更具有多樣性

方法

• 核心思想是在加入正交噪聲矩陣豐富多樣性的基礎上，保證WCT過程中style紋理，也就是Gram矩陣不變。也就是說即使用正交噪聲矩陣擾動前後feature map和原先不同了，但是Gram Matrix（style 紋理）不變。
  Gram Matrix計算：
  
  
  這個噪聲擾動的方法能夠保證style圖的Gram Matrix和擾動後的圖的Gram Matrix完全相同，即上面的計算結果爲0.

• 原始的WCT計算公式如下：
  
  

• 加入擾動正交噪聲矩陣Z：
  
  證明加入擾動正交噪聲矩陣Z之後還是和style圖一樣的style紋理（相同的Gram Matrix）
  

實驗以及消融分析

• 作者發現只直接採用擾動後的結果進行輸出，會對內容結構有很大的破壞，風格化的結果並不好，所以加入了兩個權重平衡這個影響（分別爲diversity 超參數 和 stylization 超參數），但是對於colosed-form方法影響很小（WCT以及MST影響都很大），推測可能是由於其考慮了內容架構的損失也最優。
  
  

• 多層級的擾動，結果會糟糕；單層級的擾動而言，擾動的層級越低，最後結果越糟糕，質量越低。所以多層級的擾動沒有必要
  

• 擾動噪聲矩陣的採樣的分佈類型（正態或者均勻分佈）以及其相關參數對結果影響不大，但是採用隨機噪聲矩陣而不採用正交噪聲矩陣對結果影響很大，隨機噪聲的話結果很差，會淹沒內容架構。

• 擾動矩陣Z可以放在多個位置，放在中間時計算量最小，因爲其對應的矩陣維度最小。

• 過大的diversity超參數會讓內容架構很大程度破壞，這時就需要較小的stylization超參數來均衡了，才能保證一個不錯的風格化結果。

• 通過正交噪聲矩陣的插入確實能夠增加風格化的多樣性