點擊下方“AI算法與圖像處理”,一起進步!
重磅乾貨,第一時間送達
自打伯克利和谷歌聯合打造的NeRF橫空出世,江湖上靜態圖變動圖的魔法就風靡開來。
不過,想要像這樣依靠AI來簡化3D動態效果的製作,算力開銷可不小:
以NeRF爲例,想要在1440×1600像素、90Hz的VR頭盔中實現實時渲染,需要37 petaFLOPS(每秒10^15次浮點運算)的算力——這在目前的GPU上根本不可能實現。
怎麼降低點計算複雜度?
現在,來自奧地利格拉茲科技大學和Facebook的研究人員,就想出一招:引入真實深度信息。
就這一下,很快的,推理成本最高能降低48倍,並且只用1個GPU,就能以每秒20幀的速度實現交互式渲染。
畫質什麼的,也沒啥影響,甚至還能有所提升:
具體是怎樣一招,咱們往下接着聊。
基於深度預言網絡的NeRF
首先需要說明的是,NeRF,即神經輻射場(neural radiance field)方法,是沿相機射線採樣5D座標,來實現圖像合成的。
也就是說,在NeRF的渲染過程中,需要對每條射線都進行網絡評估,以輸出對應的顏色和體積密度值等信息。
這正是造成NeRF在實時渲染應用中開銷過大的主要原因。
而現在,格拉茲科技大學和Facebook的研究人員發現,引入真實深度信息,只考慮物體表面周圍的重要樣本,每條視圖射線(view ray)所需的樣本數量能夠大大減少,並且不會影響到圖像質量。
基於此,他們提出了DONeRF。
DONeRF由兩個網絡組成,其一,是Sampling Oracle Network,使用分類法來預測沿視圖射線的最佳採樣位置。
具體來說,這個深度預言網絡通過將空間沿射線離散化,並預測沿射線的採樣概率,來預測每條射線上的多個潛在採樣對象。
如下圖所示,3個顏色通道編碼了沿射線的3種最高採樣概率,灰度值表明其中可能只有一個表面需要被採樣,而彩色數值則表明這些樣本需要在深度上展開。
其二,是一個着色網絡,使用類似於NeRF的射線行進累積法來提供RGBA輸出。
爲了消除輸入的模糊性,研究人員還將射線轉換到了一個統一的空間,並使用非線性採樣來追蹤接近的區域。
另外,在兩個網絡之間,研究人員對局部採樣進行扭曲,以使着色網絡的高頻預測被引導到前景上。
本文還引入了視圖單元(view cell)的概念。一個視圖單元被定義爲一個具有主要方向和最大視角的邊界框。
簡單來說,這個邊界框能夠捕捉到所有源於框內、並且在一定旋轉範圍內的視圖射線。
利用這樣的方法,就可以對大場景進行分割,解決NeRF沒有辦法應用於大場景的問題。
此外,較小的視圖單元減少了場景中的可見內容,因此可能會進一步提高成像質量。
對比結果
所以,DONeRF相較於前輩NeRF,到底能快多少?
不妨直接來看對比結果。
在相似的質量下,NeRF總共使用了256個樣本。而DONeRF只用到了4個樣本,在速度上可以實現20-48倍的提升。
並且在成像細節方面,DONeRF的圖像邊緣更爲清晰。
研究人員還指出,在16個樣本的情況下,從峯值信噪比(PSNR)來看,幾乎所有場景中DONeRF都超越了NeRF。
傳送門
論文地址:
https://arxiv.org/abs/2103.03231
項目地址:
https://depthoraclenerf.github.io/
個人微信(如果沒有備註不拉羣!)
請註明:
地區+學校/企業+研究方向+暱稱
下載1:何愷明頂會分享
在「AI算法與圖像處理」公衆號後臺回覆:何愷明,即可下載。總共有6份PDF,涉及 ResNet、Mask RCNN等經典工作的總結分析
下載2:終身受益的編程指南:Google編程風格指南
在「AI算法與圖像處理」公衆號後臺回覆:c++,即可下載。歷經十年考驗,最權威的編程規範!
下載3 CVPR2021
在「AI算法與圖像處理」公衆號後臺回覆:
CVPR
,即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
本文分享自微信公衆號 - AI算法與圖像處理(AI_study)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。