大家好~本課程基於全連接和卷積神經網絡,學習LBF等深度學習降噪算法,實現實時路徑追蹤渲染的降噪
本課程偏向於應用實現,主要介紹深度學習降噪算法的實現思路,演示實現的效果,給出實現的相關代碼
線上課程資料:
本節課錄像回放
加QQ羣,獲得相關資料,與羣主交流討論:106047770
本系列文章爲線上課程的覆盤,每上完一節課就會同步發佈對應的文章
本課程系列文章可進入合集查看:
深度學習降噪專題課系列文章合集
回顧上節課內容
回顧“深度學習蒙特卡洛降噪的基本思想”
介紹WSPK算法整體思想
WSPK針對KPCN,做了下面的優化:
- network使用了RepVGG塊,可以通過結構重參數化來使得訓練和推理的network的結構不一樣(訓練的network是多路架構,推理的network是單路架構),從而提高network的收斂速度
- network的最後一個RepVGG輸出important map+alpha map,然後通過類似於softmax的機制,實現kernel fusion,在輸出層輸出包含場景像素數據(輻射亮度:r、g、b)
這樣做的好處是減少了最後一個RepVGG輸出的範圍,加快了訓練輸出
網絡結構如下圖所示(只顯示了最後兩層):
介紹整體實現思路
1.使用pytorch實現訓練,保存weight
2.使用WebNN實現推理,讀取weight
演示訓練、推理
使用webgl後端,場景大小爲256*256
耗時爲:
2015年的macbook pro:600ms
RTX2060s:60ms
使用webgpu後端,場景大小爲1280*720,RTX2060s:70ms
目前遇到的問題
- input with big image error for webgl backend: context lost
- WebGPU backend error: Binding size is smaller than the minimum binding size