春节是中国人最看重，也是最具仪式感的节日，回首往年春节假期，无外乎三个关键词：拜年、消费、聚会。而2021年春节和以往不同，为响应国家号召，不少人选择就地过年，与之相伴而生的还有“云拜年”“云干杯”“云团圆”。
其中，为增加过年的喜乐气氛，让大家过团圆喜乐吉祥年，爱奇艺技术团队还在过年期间携“技术气氛组”给大家带来了AI拜年新姿势，利用先进的AI技术方案和自研的3D重建模型，结合丰富的数据学习积累，推出AI拜年新姿势，为大家新年氛围添福添乐。那么相比较其它AI拜年设计，爱奇艺AI拜年小视频有什么可圈可点之处呢？
创意新颖：AI拜年小视频独一无二
不同于以往拜年送祝福的方式，爱奇艺创作中心打破了过年祝福的同质化尬局，让祝福不再是简单的复制黏贴。用户通过爱奇艺APP搜索“拜年”，进入“新春庙会”活动页面，在玩法集市板块选择任意AI拜年模块，上传一张自己喜欢的照片便可自动生成多种特色拜年小视频。
照片没有限制，可以是萌娃、萌宠或者自己的美照等等，上传之后，便可一键get属于自己的专属趣味拜年视频。春节期间，不少网友利用该功能制作了有趣吉祥且又独特的拜年视频与朋友和家人分享，其中，被网友热议的一键化身TVB港星的戴珍珠耳环的少女被在社交媒体高调出街。
由此可见，不管是晒娃狂魔、还是萌宠专业户，只要上传一张照片到爱奇艺“新春庙会”活动页面即可生成独一无二的拜年小视频，给亲人朋友送去诚挚的新春问候。
AI技术先进：视频灵动有趣，观感自然
看完上面的拜年小视频，大家不难发现，由一张照片通过AI技术制作的创意拜年小视频的视觉观感非常的灵动自然，各个表情小细节的处理也很到位。据了解，该拜年小视频的底层逻辑是AI捏脸术，就是让静态的图片动起来。在图像生成模块中，模型会对目标运动期间出现的遮挡进行建模，然后从给定的图片中提取外观信息，再结合先前获得的特征进行视频合成。当然，仅有该技术还远不能够将视频做得如此生动自然。
为保证拜年小视频更加灵动自然，爱奇艺PersonAI团队还对源技术FOMM从训练数据和训练方法两个方面进行了重新优化。训练数据方面，利用团队内部的人脸识别、人脸属性识别、情感识别、微表情识别等技术，从海量的爱奇艺优质视频中提取出可用于训练的视频片段，并从性别、年龄、人种、姿态、表情等多个维度保证了训练数据的合理分布。
此外，为保证画面的趣味性与自然感，爱奇艺PersonAI团队还刻意增加了姿态角度比较大和表情比较夸张的数据的比例，以保证训练数据的全面覆盖，实现更好的画面制作效果。
其次，在训练方法方面，爱奇艺PersonAI团队在原有的约束LOSS上增加了人脸特征、3D姿态表情、及其嘴巴局部细节等的约束。
其中人脸特征得益于PersonAI团队的千万级人脸识别模型，再加上高精度的双线性3D重建模型，能够对生成前后的图像分别提取人脸特征、3D模型的姿态和表情系数，并对嘴巴部分做了加权处理，使其尽量保证在姿态角度大和嘴部动作相对较大的情况下，生成的图像与目标图像保持相似的人脸特征和姿态表情。
性能稳定：多种黑科技加持，用户体验更佳
除上述之外，为提升用户体验，爱奇艺PersonAI团队还在保证生成效果的同时，对模型速度进行了进一步的优化提升，并引入了深度可分离卷积技术，通过对模型结构的分析，构建了轻量化的网络模型，大幅提高了模型推理速度。
另外，针对侧面识别和性能保持，爱奇艺PersonAI团队在训练过程中引入了自研的3D重建模型，对生成前后的图片计算3D模型的姿态和表情系数，尽量保证大角度侧脸下的生成效果。实验过程中PersonAI团队发现采用小模型后，模型的生成效果有所减弱，尤其是嘴部会比较模糊，为此通过神经网络蒸馏技术提升了小模型的整体生成效果，并对嘴部区域单独做了进一步的优化。
其中，为了提高3D模型的可用性，爱奇艺PersonAI团队在facescape数据处理部分进行了改进，以TU模型作为target，结合facescape双线性模型pca基底拟合身份和表情系数。
因为facescape开源的多视角原始图片为实验室均匀光线，场景简单，与实际使用图片差异较大。PersonAI团队使用raw scan模型旋转随机角度，并施加一定角度内的随机光照进行渲染，将渲染图配合随机背景制作训练数据。
同时，爱奇艺PersonAI团队根据自主研发的landmark检测器准确检测人脸landmark，拟合出3Dmm模型的表情系数和身份系数。这份数据的特点是环境为真实环境，光线和清晰程度与使用场景更为接近，并且弥补facescape采集人数上的不足，让用户的体验效果更好。
此次爱奇艺带来了非常独特且有趣的拜年互动，借助于先进的AI技术，成功盘活了拜年气氛，不愧为技术拜年气氛组的扛把子选手。更值得一提的是，在此次AI创意拜年不但给用户带来了更有趣的互动产品，也彰显了爱奇艺的技术实力，在不断的探索AI领先技术同时希望未来爱奇艺技术团队能为用户带来更多互动的、有趣的、沉浸的娱乐体验。
也许你还想看
开工礼包来了！精选12次技术分享，超200页电子书、10小时视频，一次领取
扫一扫下方二维码，更多精彩内容陪伴你！
本文分享自微信公众号 - 爱奇艺技术产品团队（iQIYI-TP）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。