EventSR: From Asynchronous Events to Image Reconstruction, Restoration, andSuper-Resolution via End-to-End Adversarial Learning (CVPR 2020)
EventSR: 从异步事件到图像重建、恢复和超分辨率 基于端到端的对抗学习
摘要：事件摄像机能感知强度变化，比传统摄像机有许多优点。为了充分利用事件摄像机的优势，提出了一些从事件流中重构强度图像的方法。然而，输出仍然是低分辨率（LR），噪声和不真实的图像。低质量的输出阻碍了事件摄像机更广泛的应用，它需要高的空间分辨率以及高的时间分辨率、动态范围和无运动模糊。本片论文研究了在没有 ground truth 图像和 down-sampling kernels 的情况下，LR事件 强度图像的重建和超分辨率问题。基于此，本无提出了无监督、对抗性的端到端 EventSR 网络。另外，为了训练这个网络，论文创建了一个包含真实场景和模拟场景的开放数据集。数据集的使用提高了网络性能，网络结构和各个阶段的各种损耗函数有助于提高图像质量。 整个网络包含三个阶段，虽然每个阶段主要用于三个任务中的一个，但是在早期阶段中的网络是由各自的损耗函数以端到端的方式进行微调的。
整个网络的创新如下：
- the first pipeline of reconstructing image-plane HR intensity images from LR events considering im-age restoration
- an open dataset to train EventSR forevent-based super-resolution and the skills of using it forhigh performance training,
- the proposed detail architec-ture, loss functions and end-to-end learning strategy。
下面对于 EventSR 进行简要地介绍。
网络的三个阶段的主要功能是：
Event to image reconstruction (Phase 1)： we reconstruct LR images from LR event streams. However, these reconstructed images are usually noisy, blurred and unrealistic. 我们从LR事件流重建LR图像。然而，这些重建图像通常是噪声的、模糊的和不现实的。
Event to image restoration (Phase 2) ：we restore (deblur/denoise) realistic LR intensity images from events.
Event to image super-resolution (Phase 3)：we super-resolve the restored LR images to SR images from events。
整个网络如图所示。
可以看出，每一个阶段（phase）都包括生成器G、鉴别器D和反馈映射F。
对于 phase 1，
，
对于 phase 2，
，
对于 phase 3，
，
可以看出，三个模块的生成器G是级联的，而 Event embedding 获得三个 阶段的反馈。
网络的训练：
To facilitate the efficient training of our network, we utilize the proposed phase-to-phase training strategy to achieve the goal of end-to-end learning. In phase 1, we train Gr and Dr with feedback network Fr . We then train Gd and Dd from scratch with Fd in phase 2. In phase 3, we train and Gs from scratch with Fs.
The loss functional for each phase is defined as a linear combination of four losses as:
