點擊上方“3D視覺工坊”,選擇“星標”
乾貨第一時間送達
在計算機視覺會議CVPR上,Facebook展示了一種算法,該算法可以僅通過一個攝像頭就可以爲穿着衣服的人生成相當詳細的3D模型。
論文下載:在公衆號後臺回覆 CVPR_Facebook
Facebook是Oculus虛擬現實產品背後的公司。該公司被認爲是機器學習的世界領導者。機器學習(ML)是Oculus Quest和Rift S的核心-這兩款VR眼鏡都具有“由內而外”的位置跟蹤功能,無需外部基站即可達到亞毫米級的精度。在Quest上,甚至不需要控制器就可以使用機器學習來跟蹤用戶的手。
在一篇名爲PIFuHD的論文中,三名Facebook員工和南加州大學的一名研究人員提出了一種機器學習系統,該系統可從單個1K圖像生成人及其衣服的高細節3D表示。不需要深度傳感器或運動捕捉裝置。
本文不是從圖像生成人的3D表示的第一篇著作。由於計算機視覺的最新進展,此類算法於2018年出現。
在當今的硬件條件上,像PIFu這樣的系統只能處理相對低分辨率的輸入圖像。這限制了輸出模型的準確性和細節。
PIFuHD採用一種新方法,對輸入圖像進行下采樣並將其饋送到低細節基礎層的PIFu,然後新的獨立網絡使用全分辨率添加精細的表面細節。
早在2019年3月, Facebook首次展示了其對數字化重建人類的興趣,展示了"Codec Avatars''。該項目專門針對頭部和麪部,需要使用132個攝像頭對用戶的頭部進行掃描。
在2019年5月的F8年度會議上,該公司使用一種考慮了人體肌肉和骨骼系統的模型,以前所未有的保真度展示了實時無標記人體追蹤。
頭像生成是實現最終目標的又一步;允許用戶真實存在於虛擬環境中,並以真實的面貌見到朋友。
參考鏈接:https://uploadvr.com/facebook-body-meshing-one-camera/
本文僅做學術分享,如有侵權,請聯繫刪文。
推薦閱讀: