低分辨率转高分辨率视频的算法TecoGAN——时序一致GAN
《Temporally Coherent GANs for Video Super-Resolution (TecoGAN)》
摘要
对抗训练在单幅图像高分辨率上已经很成功，可以恢复真实的很好的细节结果。目前最先进的视频超分辨率方法仍然倾向于更简单的规范，例如L2而不是对抗性损失函数。直接用矢量范数作为损失函数的平均性质很容易导致由生成的图像中不希望的空间细节缺乏引起的时间平滑性和一致性。这个工作中，提出一个对于视频高分辨率的对抗学习，在不丢失空间细节前提下保证时间连续性。此工作提出一个基于生成框架的新的loss形式。时序对抗学习是实现真实和一致细节的关键。除了空间-时序判别器，提出一种新的Ping-pong loss，可以有效的去除RNN中的temporal artifacts（漂移伪影）不失掉视野质量。我们提出了第一组度量来评估时间演化的准确性和感知质量。 一系列用户研究也证实了通过这些指标实现的排名。 总的来说，我们的方法通过产生具有自然时间变化的更详细图像来优于先前的工作。
问题：去除视频高分辨率中的漂移伪影。保留空间细节和时间连续性的平衡。
提出两种度量方法。
方法：时空对抗学习模型，作用保持空间细节和时间的连续性。提出新的Ping-Pong loss函数，作用保证视觉质量无处漂移伪影。
生成器——用flow信息做动态补充
Bicubic resize——双三次插值，参考资料：https://blog.csdn.net/qq_34885184/article/details/79163991
warp操作——函数？插值？具体位移估计怎么和像素值作用？
还待研究*********************补充***************************
时空判别器——输入两组图片，每组9张，同过两组比较（类似perceptual loss）做约束
效果：
