深度學習降噪專題課:實現WSPK實時蒙特卡洛降噪算法

大家好~本課程基於全連接和卷積神經網絡,學習LBF等深度學習降噪算法,實現實時路徑追蹤渲染的降噪

本課程偏向於應用實現,主要介紹深度學習降噪算法的實現思路,演示實現的效果,給出實現的相關代碼

線上課程資料:
本節課錄像回放

加QQ羣,獲得相關資料,與羣主交流討論:106047770

本系列文章爲線上課程的覆盤,每上完一節課就會同步發佈對應的文章

本課程系列文章可進入合集查看:
深度學習降噪專題課系列文章合集

回顧上節課內容

回顧“深度學習蒙特卡洛降噪的基本思想”

介紹WSPK算法整體思想

WSPK針對KPCN,做了下面的優化:

  • network使用了RepVGG塊,可以通過結構重參數化來使得訓練和推理的network的結構不一樣(訓練的network是多路架構,推理的network是單路架構),從而提高network的收斂速度
  • network的最後一個RepVGG輸出important map+alpha map,然後通過類似於softmax的機制,實現kernel fusion,在輸出層輸出包含場景像素數據(輻射亮度:r、g、b)
    這樣做的好處是減少了最後一個RepVGG輸出的範圍,加快了訓練輸出

網絡結構如下圖所示(只顯示了最後兩層):
image

介紹整體實現思路

1.使用pytorch實現訓練,保存weight
2.使用WebNN實現推理,讀取weight

演示訓練、推理

使用webgl後端,場景大小爲256*256

耗時爲:
2015年的macbook pro:600ms

RTX2060s:60ms

使用webgpu後端,場景大小爲1280*720,RTX2060s:70ms

目前遇到的問題

參考資料

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章