春節是中國人最看重，也是最具儀式感的節日，回首往年春節假期，無外乎三個關鍵詞：拜年、消費、聚會。而2021年春節和以往不同，爲響應國家號召，不少人選擇就地過年，與之相伴而生的還有“雲拜年”“雲乾杯”“雲團圓”。
其中，爲增加過年的喜樂氣氛，讓大家過團圓喜樂吉祥年，愛奇藝技術團隊還在過年期間攜“技術氣氛組”給大家帶來了AI拜年新姿勢，利用先進的AI技術方案和自研的3D重建模型，結合豐富的數據學習積累，推出AI拜年新姿勢，爲大家新年氛圍添福添樂。那麼相比較其它AI拜年設計，愛奇藝AI拜年小視頻有什麼可圈可點之處呢？
創意新穎：AI拜年小視頻獨一無二
不同於以往拜年送祝福的方式，愛奇藝創作中心打破了過年祝福的同質化尬局，讓祝福不再是簡單的複製黏貼。用戶通過愛奇藝APP搜索“拜年”，進入“新春廟會”活動頁面，在玩法集市板塊選擇任意AI拜年模塊，上傳一張自己喜歡的照片便可自動生成多種特色拜年小視頻。
照片沒有限制，可以是萌娃、萌寵或者自己的美照等等，上傳之後，便可一鍵get屬於自己的專屬趣味拜年視頻。春節期間，不少網友利用該功能製作了有趣吉祥且又獨特的拜年視頻與朋友和家人分享，其中，被網友熱議的一鍵化身TVB港星的戴珍珠耳環的少女被在社交媒體高調出街。
由此可見，不管是曬娃狂魔、還是萌寵專業戶，只要上傳一張照片到愛奇藝“新春廟會”活動頁面即可生成獨一無二的拜年小視頻，給親人朋友送去誠摯的新春問候。
AI技術先進：視頻靈動有趣，觀感自然
看完上面的拜年小視頻，大家不難發現，由一張照片通過AI技術製作的創意拜年小視頻的視覺觀感非常的靈動自然，各個表情小細節的處理也很到位。據瞭解，該拜年小視頻的底層邏輯是AI捏臉術，就是讓靜態的圖片動起來。在圖像生成模塊中，模型會對目標運動期間出現的遮擋進行建模，然後從給定的圖片中提取外觀信息，再結合先前獲得的特徵進行視頻合成。當然，僅有該技術還遠不能夠將視頻做得如此生動自然。
爲保證拜年小視頻更加靈動自然，愛奇藝PersonAI團隊還對源技術FOMM從訓練數據和訓練方法兩個方面進行了重新優化。訓練數據方面，利用團隊內部的人臉識別、人臉屬性識別、情感識別、微表情識別等技術，從海量的愛奇藝優質視頻中提取出可用於訓練的視頻片段，並從性別、年齡、人種、姿態、表情等多個維度保證了訓練數據的合理分佈。
此外，爲保證畫面的趣味性與自然感，愛奇藝PersonAI團隊還刻意增加了姿態角度比較大和表情比較誇張的數據的比例，以保證訓練數據的全面覆蓋，實現更好的畫面製作效果。
其次，在訓練方法方面，愛奇藝PersonAI團隊在原有的約束LOSS上增加了人臉特徵、3D姿態表情、及其嘴巴局部細節等的約束。
其中人臉特徵得益於PersonAI團隊的千萬級人臉識別模型，再加上高精度的雙線性3D重建模型，能夠對生成前後的圖像分別提取人臉特徵、3D模型的姿態和表情係數，並對嘴巴部分做了加權處理，使其儘量保證在姿態角度大和嘴部動作相對較大的情況下，生成的圖像與目標圖像保持相似的人臉特徵和姿態表情。
性能穩定：多種黑科技加持，用戶體驗更佳
除上述之外，爲提升用戶體驗，愛奇藝PersonAI團隊還在保證生成效果的同時，對模型速度進行了進一步的優化提升，並引入了深度可分離卷積技術，通過對模型結構的分析，構建了輕量化的網絡模型，大幅提高了模型推理速度。
另外，針對側面識別和性能保持，愛奇藝PersonAI團隊在訓練過程中引入了自研的3D重建模型，對生成前後的圖片計算3D模型的姿態和表情係數，儘量保證大角度側臉下的生成效果。實驗過程中PersonAI團隊發現採用小模型後，模型的生成效果有所減弱，尤其是嘴部會比較模糊，爲此通過神經網絡蒸餾技術提升了小模型的整體生成效果，並對嘴部區域單獨做了進一步的優化。
其中，爲了提高3D模型的可用性，愛奇藝PersonAI團隊在facescape數據處理部分進行了改進，以TU模型作爲target，結合facescape雙線性模型pca基底擬合身份和表情係數。
因爲facescape開源的多視角原始圖片爲實驗室均勻光線，場景簡單，與實際使用圖片差異較大。PersonAI團隊使用raw scan模型旋轉隨機角度，並施加一定角度內的隨機光照進行渲染，將渲染圖配合隨機背景製作訓練數據。
同時，愛奇藝PersonAI團隊根據自主研發的landmark檢測器準確檢測人臉landmark，擬合出3Dmm模型的表情係數和身份係數。這份數據的特點是環境爲真實環境，光線和清晰程度與使用場景更爲接近，並且彌補facescape採集人數上的不足，讓用戶的體驗效果更好。
此次愛奇藝帶來了非常獨特且有趣的拜年互動，藉助於先進的AI技術，成功盤活了拜年氣氛，不愧爲技術拜年氣氛組的扛把子選手。更值得一提的是，在此次AI創意拜年不但給用戶帶來了更有趣的互動產品，也彰顯了愛奇藝的技術實力，在不斷的探索AI領先技術同時希望未來愛奇藝技術團隊能爲用戶帶來更多互動的、有趣的、沉浸的娛樂體驗。
也許你還想看
開工禮包來了！精選12次技術分享，超200頁電子書、10小時視頻，一次領取
掃一掃下方二維碼，更多精彩內容陪伴你！
本文分享自微信公衆號 - 愛奇藝技術產品團隊（iQIYI-TP）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。