仅一台摄像机即可进行3D身体重建

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

在计算机视觉会议CVPR上,Facebook展示了一种算法,该算法可以仅通过一个摄像头就可以为穿着衣服的人生成相当详细的3D模型。

论文下载:在公众号后台回复 CVPR_Facebook

Facebook是Oculus虚拟现实产品背后的公司。该公司被认为是机器学习的世界领导者。机器学习(ML)是Oculus Quest和Rift S的核心-这两款VR眼镜都具有“由内而外”的位置跟踪功能,无需外部基站即可达到亚毫米级的精度。在Quest上,甚至不需要控制器就可以使用机器学习来跟踪用户的手。

在一篇名为PIFuHD的论文中,三名Facebook员工和南加州大学的一名研究人员提出了一种机器学习系统,该系统可从单个1K图像生成人及其衣服的高细节3D表示。不需要深度传感器或运动捕捉装置。

本文不是从图像生成人的3D表示的第一篇著作。由于计算机视觉的最新进展,此类算法于2018年出现。

在当今的硬件条件上,像PIFu这样的系统只能处理相对低分辨率的输入图像。这限制了输出模型的准确性和细节。

PIFuHD采用一种新方法,对输入图像进行下采样并将其馈送到低细节基础层的PIFu,然后新的独立网络使用全分辨率添加精细的表面细节。

早在2019年3月, Facebook首次展示了其对数字化重建人类的兴趣,展示了"Codec Avatars''。该项目专门针对头部和面部,需要使用132个摄像头对用户的头部进行扫描。

在2019年5月的F8年度会议上,该公司使用一种考虑了人体肌肉和骨骼系统的模型,以前所未有的保真度展示了实时无标记人体追踪。

头像生成是实现最终目标的又一步;允许用户真实存在于虚拟环境中,并以真实的面貌见到朋友。

参考链接:https://uploadvr.com/facebook-body-meshing-one-camera/

本文仅做学术分享,如有侵权,请联系删文。

推荐阅读

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+暱称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近1000+星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章