深度學習降噪專題課:總結

大家好,本課是本次專題課的最後一節課,給出了未來的研究改進方向,謝謝!

加QQ羣,獲得相關資料,與羣主交流討論:106047770

本系列文章爲線上課程的覆盤,每上完一節課就會同步發佈對應的文章

本課程系列文章可進入合集查看:
深度學習降噪專題課系列文章合集

未來的研究改進方向

1.等待WebNN Polyfill 支持WebGPU後端

2.使用WebGPU的GPU Buffer或者GPU Texture作爲Network的輸入和輸出

參考資料:
https://www.w3.org/TR/webnn/#programming-model-device-selection

https://www.w3.org/TR/webnn/#api-ml

https://www.w3.org/TR/webnn/#api-mlcontext-webgpu-interop

https://www.w3.org/TR/webnn/#api-mlcommandencoder

Create tensor from GPUBuffer

3.與path tracer結合

4.使用多幀來累積spp(temporally accumulating)

對於訓練,加入累積spp的數據(參考wspk的dataset)

對於推理,使用累積spp的場景數據作爲輸入

參考資料:

  • wspk論文的相關描述:

Besides, temporally accumulating consecutive 1-spp frames can effectively improve the temporal stability and increase the effec- tive spp of each frame. We employ a temporal accumulation pre- processing step before sending the noisy inputs to the denoising pipeline just like [SKW∗ 17, KIM∗ 19, MZV∗ 20]. We first reproject the previous frame to the current frame with the motion vector and then judge their geometry consistency by world position and shad- ing normal feature buffers. Current frame pixels that passed the consistency test are blended with their corresponding pixels in the previous frame, while the failed pixels remain original 1 spp.

  • wspk的相關實現
  • bmfr的相關實現

對於Motion Vector造成的ghost問題,可參考下面的論文改進:Temporally Reliable Motion Vectors for Real-time Ray Tracing

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章