点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
在计算机视觉会议CVPR上,Facebook展示了一种算法,该算法可以仅通过一个摄像头就可以为穿着衣服的人生成相当详细的3D模型。
论文下载:在公众号后台回复 CVPR_Facebook
Facebook是Oculus虚拟现实产品背后的公司。该公司被认为是机器学习的世界领导者。机器学习(ML)是Oculus Quest和Rift S的核心-这两款VR眼镜都具有“由内而外”的位置跟踪功能,无需外部基站即可达到亚毫米级的精度。在Quest上,甚至不需要控制器就可以使用机器学习来跟踪用户的手。
在一篇名为PIFuHD的论文中,三名Facebook员工和南加州大学的一名研究人员提出了一种机器学习系统,该系统可从单个1K图像生成人及其衣服的高细节3D表示。不需要深度传感器或运动捕捉装置。
本文不是从图像生成人的3D表示的第一篇著作。由于计算机视觉的最新进展,此类算法于2018年出现。
在当今的硬件条件上,像PIFu这样的系统只能处理相对低分辨率的输入图像。这限制了输出模型的准确性和细节。
PIFuHD采用一种新方法,对输入图像进行下采样并将其馈送到低细节基础层的PIFu,然后新的独立网络使用全分辨率添加精细的表面细节。
早在2019年3月, Facebook首次展示了其对数字化重建人类的兴趣,展示了"Codec Avatars''。该项目专门针对头部和面部,需要使用132个摄像头对用户的头部进行扫描。
在2019年5月的F8年度会议上,该公司使用一种考虑了人体肌肉和骨骼系统的模型,以前所未有的保真度展示了实时无标记人体追踪。
头像生成是实现最终目标的又一步;允许用户真实存在于虚拟环境中,并以真实的面貌见到朋友。
参考链接:https://uploadvr.com/facebook-body-meshing-one-camera/
本文仅做学术分享,如有侵权,请联系删文。
推荐阅读: