EventSR: From Asynchronous Events to Image Reconstruction, Restoration, andSuper-Resolution via End-to-End Adversarial Learning (CVPR 2020)
EventSR: 從異步事件到圖像重建、恢復和超分辨率 基於端到端的對抗學習
摘要：事件攝像機能感知強度變化，比傳統攝像機有許多優點。爲了充分利用事件攝像機的優勢，提出了一些從事件流中重構強度圖像的方法。然而，輸出仍然是低分辨率（LR），噪聲和不真實的圖像。低質量的輸出阻礙了事件攝像機更廣泛的應用，它需要高的空間分辨率以及高的時間分辨率、動態範圍和無運動模糊。本片論文研究了在沒有 ground truth 圖像和 down-sampling kernels 的情況下，LR事件 強度圖像的重建和超分辨率問題。基於此，本無提出了無監督、對抗性的端到端 EventSR 網絡。另外，爲了訓練這個網絡，論文創建了一個包含真實場景和模擬場景的開放數據集。數據集的使用提高了網絡性能，網絡結構和各個階段的各種損耗函數有助於提高圖像質量。 整個網絡包含三個階段，雖然每個階段主要用於三個任務中的一個，但是在早期階段中的網絡是由各自的損耗函數以端到端的方式進行微調的。
整個網絡的創新如下：
- the first pipeline of reconstructing image-plane HR intensity images from LR events considering im-age restoration
- an open dataset to train EventSR forevent-based super-resolution and the skills of using it forhigh performance training,
- the proposed detail architec-ture, loss functions and end-to-end learning strategy。
下面對於 EventSR 進行簡要地介紹。
網絡的三個階段的主要功能是：
Event to image reconstruction (Phase 1)： we reconstruct LR images from LR event streams. However, these reconstructed images are usually noisy, blurred and unrealistic. 我們從LR事件流重建LR圖像。然而，這些重建圖像通常是噪聲的、模糊的和不現實的。
Event to image restoration (Phase 2) ：we restore (deblur/denoise) realistic LR intensity images from events.
Event to image super-resolution (Phase 3)：we super-resolve the restored LR images to SR images from events。
整個網絡如圖所示。
可以看出，每一個階段（phase）都包括生成器G、鑑別器D和反饋映射F。
對於 phase 1，
，
對於 phase 2，
，
對於 phase 3，
，
可以看出，三個模塊的生成器G是級聯的，而 Event embedding 獲得三個 階段的反饋。
網絡的訓練：
To facilitate the efficient training of our network, we utilize the proposed phase-to-phase training strategy to achieve the goal of end-to-end learning. In phase 1, we train Gr and Dr with feedback network Fr . We then train Gd and Dd from scratch with Fd in phase 2. In phase 3, we train and Gs from scratch with Fs.
The loss functional for each phase is defined as a linear combination of four losses as:
