AR Foundation現已支持ARKit 3

在ARKit 3的開發過程中,Unity和Apple進行了緊密的合作,我們很高興爲開發者提供ARKit 3的多項新功能。
本文,我們將介紹ARKit 3的最新功能,以及如何通過使用AR Foundation 2.2和Unity 2019.1來使用這些功能。
小提示:Unity 2018.4的用戶可以通過AR Foundation 1.5來使用ARKit 3的新功能。
在這裏插入圖片描述
在ARKit 3和AR Foundation 2.2中,我們加入了多項新功能,包括:
動作捕捉
人物遮蔽
面部跟蹤功能加強,包含對多個面部的支持
協作會話功能
其它改進功能
動作捕捉

首先,我們介紹動作捕捉功能,這項功能會使渲染內容和真實人物之間的交互效果更爲逼真。
ARKit 3的關鍵功能注重於通過識別現實世界中的人物來增強AR體驗。動作捕捉是ARKit 3的全新功能,它給AR Foundation應用提供了攝像機畫面中識別人物的2D(屏幕空間)形式或3D(世界空間)形式。
對於2D檢測功能,人物會表示爲具有17個關節和屏幕空間座標的層次結構。對於3D檢測功能,人物會表示爲具有93個座標和世界空間變換的層次結構。
爲了利用這個全新功能,AR Foundation添加了新的Human Body Subsystem人體子系統。該功能僅適用於帶有A12 Bionic芯片和Apple Neural Engine神經網絡引擎(ANE)的部分新iOS設備。
AR Foundation應用可以在運行時查詢Human Body Subsystem人體子系統描述符,以確定iOS設備是否支持人體姿勢估算。

在這裏插入圖片描述
人物遮蔽

除了動作捕捉外,新的AR Foundation Human Body Subsystem人體子系統還給應用提供了人物模板和深度分割圖像。
模板分割圖像會識別每個像素是否包含人物,深度分割圖像包含從設備到已識別人物相關像素的大致距離。通過使用這二個分割圖像,我們可以使渲染的3D內容逼真地受到現實人物的遮蔽。
模板圖像可以用於創建視覺效果,例如:實現輪廓效果,或畫面中人物的着色效果。
請注意:人物遮蔽功能僅適用於帶有A12 Bionic芯片和神經網絡引擎ANE的iOS設備。
面部跟蹤功能加強

ARKit 3以多種方式擴展了iPhone XS、iPhone XR、iPhone XS Max和最新iPad Pro上的面部跟蹤支持。
首先,前置TrueDepth攝像頭現在可以在一次面部跟蹤會話中最多識別出三個不同的面部。你可以通過AR Foundation Face Subsystem面部子系統,指定同時跟蹤的最大面部數量。
與面部跟蹤相關的最大改變是:在配置爲世界跟蹤的會話中,提供啓用TrueDepth攝像頭用於面部跟蹤的功能。該功能可以實現多種體驗,例如:從前置攝像頭捕捉用戶的面部姿勢,使用它來驅動在後置攝像頭所見環境中渲染角色的面部表情。
請注意:這項新的面部跟蹤模式僅適用於帶有A12 Bionic芯片和神經網絡引擎ANE的iOS設備。
協作會話功能

ARKit 2加入了ARWorldMap,把它作爲和其他用戶共享空間環境的方法。ARKit 3通過協作會話改進了該功能,允許多個連接的ARKit應用不斷交換對環境的理解。
在AR Foundation中,設備可以實時分享AR Reference Points參考點,Session Subsystem會話子系統的ARKit實現公開了發佈和使用更新內容的API。
AR Foundation應用必須實現合適的網絡技術,以便將更新內容傳遞到每個連接的客戶端。
在這裏插入圖片描述

小結

我們很高興通過AR Foundation爲開發者提供ARKit的最新功能,我們爲Arfoundation-samples示例庫添加了更多示例,來展示這些新功能。
獲取Arfoundation-samples示例庫:https://github.com/Unity-Technologies/arfoundation-samples
如果你希望參與探討AR Foundation,請訪問Unity Handheld AR論壇:https://forum.unity.com/forums/handheld-ar.159/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章