搜狗 3D AI 合成主播:媒體行業高逼真合成3D主播上線! |百萬人學AI評選

2020 無疑是特殊的一年,而 AI 在開年的這場”戰疫“中表現出了驚人的力量。站在“新十年”的起點上,CSDN【百萬人學AI】評選活動正式啓動。本屆評選活動在前兩屆的基礎上再度升級,設立了「AI優秀案例獎Top 30」、「AI新銳公司獎Top 10」、「AI開源貢獻獎Top 5」三大獎項。我們相信,榜樣的力量將成爲促進AI行業不斷髮展的重要基石,而CSDN將與這些榜樣一起,助力AI時代的”新基建“。

活動官網:https://bss.csdn.net/m/topic/ai_selection/index

申報地址:http://csdnprogrammer.mikecrm.com/WpA03hJ

一、公司簡介

搜狗成立於2003年,是中國搜索行業的挑戰者,AI領域的創新者。目前搜狗月活躍用戶數僅次於BAT,是中國用戶規模第四大互聯網公司。2004年8月,搜狗推出搜狗搜索,現已成爲中國第二大搜索引擎。2006年6月,推出搜狗輸入法,重新定義了中文輸入,截止2019年9月,搜狗輸入法日活用戶數4.5億,是國內第一大中文輸入法。2017年11月9日,搜狗在美國紐約證券交易所正式掛牌上市,股票交易代碼爲“SOGO”。

二、案例詳情

產品詳情

2020 年5月21日,在全國矚目的兩會召開之際,搜狗聯合新華社推出的全球首個3D AI合成主播“新小微”。它以新華社記者趙琬微爲原型,通過超寫實 3D 數字人建模、多模態識別及生成、實時面部動作生成及驅動、遷移學習等技術煉就而成。
只需要輸入一段文本,它就能生成語音數據、3D 肌肉運動參數,最後通過渲染,生成一段 3D 合成主播視頻,可以 360 度多機位多景深呈現。
從效果上來說,3D AI 合成主播給人的最大印象便是高逼真,它較好的還原了真人的髮膚、表情;在特寫鏡頭下,連頭髮絲和皮膚毛孔都清晰可見。
其次是靈活性、可塑性更強,3D AI 合成主播可以走動、轉身、可以擺出各種複雜的動作和姿態,具備在更廣闊空間使用的潛力。

技術研發投入

3D AI合成主播的開發流程

  • 首先基於真人原型採集海量數據:原型戴着數據採集頭盔,幾百個攝像頭會對其身體各個部位進行全方位「打點」掃描,採集每一處細節,並對其多種形態的表情和動作進行細緻入微地捕捉記錄。
  • 其次,搜狗採用了行業領先的掃描還原算法,以及面部肌肉驅動、表情肢體捕捉等技術,生成高逼真度的 3D 數字人模型。
  • 然後,通過搜狗的 AI 算法對 3D 數字人模型進行實時驅動、渲染,使其面部表情脣動、肢體動作和語言表達能力達到一個較高的度契合。
  • 從19年 10 月到20 年 5 月,搜狗技術團隊投入近半年時間,完成這一挑戰。

三、典型應用場景

目前通過搜狗分身技術打造的 AI 合成主播在媒體行業已經取得不俗表現,與新華社,央視合作開發的多個主播主持已經上崗。
未來,分身技術“大施拳腳”的前景仍非常廣闊,將涵蓋衆多內容表達場景,例如虛擬教師、虛擬醫生、虛擬客服、虛擬導遊,等等。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章