搜狗 3D AI 合成主播:媒体行业高逼真合成3D主播上线! |百万人学AI评选

2020 无疑是特殊的一年,而 AI 在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上,CSDN【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级,设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信,榜样的力量将成为促进AI行业不断发展的重要基石,而CSDN将与这些榜样一起,助力AI时代的”新基建“。

活动官网:https://bss.csdn.net/m/topic/ai_selection/index

申报地址:http://csdnprogrammer.mikecrm.com/WpA03hJ

一、公司简介

搜狗成立于2003年,是中国搜索行业的挑战者,AI领域的创新者。目前搜狗月活跃用户数仅次于BAT,是中国用户规模第四大互联网公司。2004年8月,搜狗推出搜狗搜索,现已成为中国第二大搜索引擎。2006年6月,推出搜狗输入法,重新定义了中文输入,截止2019年9月,搜狗输入法日活用户数4.5亿,是国内第一大中文输入法。2017年11月9日,搜狗在美国纽约证券交易所正式挂牌上市,股票交易代码为“SOGO”。

二、案例详情

产品详情

2020 年5月21日,在全国瞩目的两会召开之际,搜狗联合新华社推出的全球首个3D AI合成主播“新小微”。它以新华社记者赵琬微为原型,通过超写实 3D 数字人建模、多模态识别及生成、实时面部动作生成及驱动、迁移学习等技术炼就而成。
只需要输入一段文本,它就能生成语音数据、3D 肌肉运动参数,最后通过渲染,生成一段 3D 合成主播视频,可以 360 度多机位多景深呈现。
从效果上来说,3D AI 合成主播给人的最大印象便是高逼真,它较好的还原了真人的发肤、表情;在特写镜头下,连头发丝和皮肤毛孔都清晰可见。
其次是灵活性、可塑性更强,3D AI 合成主播可以走动、转身、可以摆出各种复杂的动作和姿态,具备在更广阔空间使用的潜力。

技术研发投入

3D AI合成主播的开发流程

  • 首先基于真人原型采集海量数据:原型戴着数据采集头盔,几百个摄像头会对其身体各个部位进行全方位「打点」扫描,采集每一处细节,并对其多种形态的表情和动作进行细致入微地捕捉记录。
  • 其次,搜狗采用了行业领先的扫描还原算法,以及面部肌肉驱动、表情肢体捕捉等技术,生成高逼真度的 3D 数字人模型。
  • 然后,通过搜狗的 AI 算法对 3D 数字人模型进行实时驱动、渲染,使其面部表情唇动、肢体动作和语言表达能力达到一个较高的度契合。
  • 从19年 10 月到20 年 5 月,搜狗技术团队投入近半年时间,完成这一挑战。

三、典型应用场景

目前通过搜狗分身技术打造的 AI 合成主播在媒体行业已经取得不俗表现,与新华社,央视合作开发的多个主播主持已经上岗。
未来,分身技术“大施拳脚”的前景仍非常广阔,将涵盖众多内容表达场景,例如虚拟教师、虚拟医生、虚拟客服、虚拟导游,等等。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章