大家好，本文在我開發的多個項目的基礎上，提出了應用於數字孿生的雲渲染整體架構設計，分析了其中的關鍵點，感謝大家~
數字孿生現狀
數字孿生是將物理世界映射到數字世界，1比1還原真實場景，具有場景大、數據大、還原真實場景等特點。
數字孿生行業市場大，預計2025年可達到300億元的市場規模
爲什麼使用雲渲染？
目前數字孿生一般有2種渲染方式：
- 客戶端渲染
使用UE、Unity引擎來渲染 - Web端渲染
基於WebGL/WebGPU，使用Three.js等開源引擎來渲染
其中，前者渲染效果較好、開發成本較低（因爲有成熟引擎，很多都不需要開發），但是不如後者跨平臺和輕量；
後者的主要問題是WebGL/WebGPU不夠成熟，缺少很多高級圖形特性（如Ray Tracing Pipeline），並且暫不能直接調用NPU來進行深度學習計算（WebNN目前還不成熟）
這兩種渲染方式存在的問題是都依賴用戶的硬件條件，如果是移動端的話就不能渲染出高質量的場景；並且存在適配各種硬件等問題。
因此，我們選擇使用雲渲染的方式，主要的好處是能夠使用高級圖形特性和NPU，並且能夠使用集羣來渲染，從而能渲染出高質量的場景。又因爲網絡傳輸的速度越來越快，所以可以實時渲染
架構
雲渲染整體架構如下圖所示：
架構一共有三個部分，其中用戶的硬件（如手機、平板、PC等）是前端，雲端GPU服務器集羣是後端，而前端和後端都是基於Meta3D（Web3D低代碼開發平臺）來開發的
特點
本文提出的雲渲染架構有下面的特點：
-
核心組件都是自研的
前端的Web3D引擎、Web3D編輯器和後端的雲端渲染引擎以及Meta3D等都是自研產品 -
技術前沿
雲端渲染引擎使用了最新的深度學習技術和最新的圖形API，實現了最先進的實時路徑追蹤渲染，渲染效果可以超過UE渲染 -
基於統一的平臺來高效開發
基於Meta3D平臺，一站式、積木式開發編輯器和引擎 -
提供個性化的Web3D編輯器給用戶，實現模型搭建、數據綁定等可視化操作
下面，我們來分析下架構中的關鍵點：
後端
網絡傳輸
這部分包括編碼、解碼，基於WebRTC來傳輸指令和像素流，其中像素流類似於UE的像素流
雲端渲染引擎
使用Ray Tracing Pipeline、ReSTIR、DLSS、NRC（Real-time Neural Radiance Caching for Path Tracing）、WSPK等技術來實現實時路徑追蹤渲染。具體方案可參考實時渲染前沿研究：開篇介紹
使用Node.js，從而能夠用js來調用本地能力（如Nvdia NPU、Ray Tracing Pipeline）
使用的第三方庫主要是：
集羣調度
根據前端的需求，動態調度合適的GPU服務器來渲染
需要實現異步隊列等技術
GPU服務器集羣
配備RTX顯卡，提供Ray Pipeline Tracing、NPU等功能
前端
瀏覽器
用戶打開瀏覽器，在有良好的網絡時，即可接收到後端傳來的實時像素流
Web3D編輯器
這是提供給有開發能力的用戶的定製編輯器，使用戶可以快速開發、修改數字孿生應用，從而解決數字孿生應用維護困難（現在用戶可以通過低門檻的編輯器來維護應用，無需修改源代碼）等問題
Web3D引擎
Web3D編輯器和數字孿生應用會在前端（也就是用戶的硬件上）使用該引擎。
對於渲染部分，簡易渲染引擎用於渲染編輯器的編輯場景，而編輯器的運行場景和數字孿生應用的場景則由雲端渲染引擎來渲染；
對於其它部分（如物理、粒子等），則由Web3D引擎負責在前端來計算
數字孿生應用
數字孿生應用包括智慧城市、智慧倉庫、3D展館、VR/AR應用等，是交付給最終用戶的產品。它的場景由雲端渲染引擎來渲染
Meta3D
Meta3D是自研的Web3D低代碼平臺，一條龍可視化搭建編輯器、引擎，共建開放互助的web3d生態
前端的Web3D引擎、Web3D編輯器和後端的雲端渲染引擎都是在Meta3D平臺中一站式搭建
實現步驟
結合我的情況，預計通過下面的步驟，來實現雲渲染：
1.基於WebNN，實現Real-time Neural Radiance Caching for Path Tracing的Demo
2.跑通TensorFlow.js的Node.js backend，使用NVIDIA GPU drivers（NPU?）
3.使用TensorFlow.js的Node.js backend替代WebNN，重寫深度學習的Demo，並進行性能比較
4.將以前基於WebGPU-Node實現的路徑追蹤渲染器（詳見WebGPU+光線追蹤Ray Tracing 開發三個月總結）,結合NRC來降噪
5.使Meta3D支持Node.js，從而能夠開發 雲端渲染引擎 包
6.結合WSPK來降噪
7.結合DLSS來渲染高分辨率
8.用最簡單的實現，快速跑通整個架構
其中集羣調度的實現可參考GPU Accelerated Path Tracing of Massive Scenes
9.交付給內測用戶使用
參考資料
137頁完整版《2023數字孿生世界白皮書》場景渲染能力篇：實時雲渲染