低分辨率轉高分辨率視頻的算法TecoGAN——時序一致GAN
《Temporally Coherent GANs for Video Super-Resolution (TecoGAN)》
摘要
對抗訓練在單幅圖像高分辨率上已經很成功，可以恢復真實的很好的細節結果。目前最先進的視頻超分辨率方法仍然傾向於更簡單的規範，例如L2而不是對抗性損失函數。直接用矢量範數作爲損失函數的平均性質很容易導致由生成的圖像中不希望的空間細節缺乏引起的時間平滑性和一致性。這個工作中，提出一個對於視頻高分辨率的對抗學習，在不丟失空間細節前提下保證時間連續性。此工作提出一個基於生成框架的新的loss形式。時序對抗學習是實現真實和一致細節的關鍵。除了空間-時序判別器，提出一種新的Ping-pong loss，可以有效的去除RNN中的temporal artifacts（漂移僞影）不失掉視野質量。我們提出了第一組度量來評估時間演化的準確性和感知質量。 一系列用戶研究也證實了通過這些指標實現的排名。 總的來說，我們的方法通過產生具有自然時間變化的更詳細圖像來優於先前的工作。
問題：去除視頻高分辨率中的漂移僞影。保留空間細節和時間連續性的平衡。
提出兩種度量方法。
方法：時空對抗學習模型，作用保持空間細節和時間的連續性。提出新的Ping-Pong loss函數，作用保證視覺質量無處漂移僞影。
生成器——用flow信息做動態補充
Bicubic resize——雙三次插值，參考資料：https://blog.csdn.net/qq_34885184/article/details/79163991
warp操作——函數？插值？具體位移估計怎麼和像素值作用？
還待研究*********************補充***************************
時空判別器——輸入兩組圖片，每組9張，同過兩組比較（類似perceptual loss）做約束
效果：
