大家好~本課程基於全連接和卷積神經網絡，學習LBF等深度學習降噪算法，實現實時路徑追蹤渲染的降噪
本課程偏向於應用實現，主要介紹深度學習降噪算法的實現思路，演示實現的效果，給出實現的相關代碼
線上課程資料：
掃碼加QQ頻道，獲得相關代碼等資料，與羣主交流討論：
本系列文章爲線上課程的覆盤，每上完一節課就會同步發佈對應的文章
本文爲第一節課：課程介紹的覆盤文章
本課程系列文章可進入合集查看：
深度學習降噪專題課系列文章合集
爲什麼要學習深度學習？
我主要關注在圖形學中的應用，在“深度學習和圖形學渲染的結合和應用” 中總結了深度學習在圖形學中的部分應用。
具體來說應用包括下面幾個方面：
- 降噪
如上圖所示，左邊爲路徑追蹤生成的有噪點的場景圖片，右邊爲經過深度學習降噪後的清晰圖片
降噪主要使用深度學習中的卷積神經網絡，這也是本課程會重點學習的
在最新的論文中，已經實現了10ms降噪，從而可以用在實時渲染的全局光照中了！
- 神經渲染
具體說就是2D圖片轉成3D場景
比如谷歌之前發佈的3D地圖，就是使用了該技術。它先從多個角度拍攝街道，然後通過深度學習中的NeRF將其轉換爲可從任意視角觀看的3D模型
- 語義圖像合成
深度學習通過GAN網絡，可以將“我的世界”這種體素構成的3D場景，轉換爲三角面構成的3D場景，從而可以實現玩家在遊戲中既可以像我的世界那樣，通過操作體素的方式自定義世界，又可以切換到真實渲染模式（三角面組成的3D場景）查看渲染精美的3D場景
- 輻照度緩存
在Real-time Neural Radiance Caching for Path Tracing論文中，提出了使用深度學習實現輻照度緩存，從而加快路徑追蹤的渲染速度
- 高清分辨率的紋理
在NeuMIP: Multi-Resolution Neural Materials論文中，提出了使用深度學習實現高清分辨率的紋理
前置要求
本課程在《深度學習基礎課》的基礎上進行降噪專題的學習，請大家首先閱讀下面的資料，對深度學習基礎班的內容有一個大概的瞭解：
深度學習基礎課系列目錄
技術棧
-
Rescript
Rescript以前叫Reasonml，它跟Typescript類似，都屬於編譯到Javascript的語言
Rescript是從Ocaml而來，基於函數式編程範式，高度優化了編譯後的Javascript，性能非常好，非常適合像深度學習這種處理數據的場景
Rescript的學習資料爲：
官方文檔 -
WebGPU
課程特色
- 偏向於應用實現，介紹實現思路，演示實現效果，給出實現代碼
- 使用自己實現的深度學習框架
學員收益
- 瞭解降噪算法的實現思路
- 獲得降噪算法的實現代碼
課程大綱
課程內容包括：
- 課程介紹
- 整體介紹降噪算法
- 介紹LBF實現思路
- 介紹KPCN實現思路
- 介紹KPCN實現代碼
- 介紹WPSK實現思路
- 使用CPU後端的深度學習框架，實現WPSK
- 深度學習框架加入WebGPU後端
- 使用WebGPU後端的深度學習框架，實現WPSK
- 結合路徑追蹤渲染器，使用WPSK降噪