AI技術，究竟能在哪些行業實現規模化應用？
這是視頻行業面對AI浪潮，交出的一份答卷：
素材智能檢索、老電影修復、音色克隆、虛擬動漫偶像……
愛奇藝將最前沿的AI技術，落地到視頻創作、內容分發中去，真正讓創作者提升效率、讓消費者簡單快樂。
在MEET 2021智能未來大會現場，愛奇藝副總裁謝丹銘表示：用AI結合科技與藝術，能促進整個產業的升級發展。
![]()
在不改變原意的基礎上，量子位對謝丹銘的演講進行了編輯整理。
關於MEET 智能未來大會：MEET大會是由量子位主辦的智能科技領域頂級商業峯會，致力於探討前沿科技技術的落地與行業應用。本次大會現場有李開復等20餘位行業頂級大咖分享，500餘名行業觀衆參與，超過150萬網友在線收看直播。包括新華社、搜狐科技、澎湃新聞、封面新聞等數十家主流媒體在內紛紛報道，線上總曝光量累計超過2000萬。
-
這場疫情，極大地提升了技術、尤其是智能技術在產業中的重要性。
-
目前，國內有上萬部需要被拯救、保護的膠帶電影。如果利用AI修復，就可以省去80%的繁複工作。
-
愛奇藝爲內容創作者提供了一個素材庫，讓他們不再需要去盜版網站找視頻素材。
-
我們希望降低廣告對用戶的打擾程度，讓廣告也能成爲用戶獲取信息的手段。
-
通過AI，將科技與藝術進行結合，就能促進整個產業的升級發展。
-
今天，我演講的題目是“智能時代的內容創作與消費”。
在即將過去的2020年裏，多數產業遭遇較大沖擊，呈現出一個或深或淺的“V”字型走勢。
演講之前，孟鴻老師問了我一個問題：愛奇藝和視頻行業，應該會是疫情的受益者？
如大家所見，年初由於疫情，很多人在家辦公，加之寒假，我們的消費指數飆升得很高。
但在這之後，上下游和合作夥伴受到疫情衝擊，我們也難以獨善其身。在疫情期間，由於很多片子無法拍攝，出現了內容供給跟不上、廣告預算大幅減少的情況。
經過思考，我們試着將內容創作搬到線上，實現了一個雲錄製系統。
此後，我們利用AR、MR等XR技術，實現了虛擬製作，相當於搭建一個虛擬的棚，在棚裏進行電影、電視劇拍攝。
我們還利用智能化技術，提升了廣告投放效率，減少了預算損失。
這場疫情，極大地提升了技術、尤其是智能技術在產業中的重要性。
目前，愛奇藝打造的智能平臺，主要用於服務兩部分人羣：一部分是上游的內容創作者，另一部分是用戶消費者。
一類是傳統的長視頻創作者，包括導演、演員和後期製作人員，他們主要創作電影、電視劇、綜藝、動漫及兒童動畫片等類型的作品。
另兩類則分別是短視頻、小視頻創作者，包括許多MCN（Multi-Channel Network）機構和UGC（User Generated Content）創作者。
以綜藝節目爲例，愛奇藝最早投入、使用了一個大型AI綜藝創作系統，名爲“愛創媒資系統”。
在綜藝錄製現場，通常會有五六十個、甚至上百個（固定或移動的）攝像頭同時進行拍攝，產生大量錄製素材。
這些素材的數量，是普通視頻素材的幾十倍、甚至上百倍，手動處理起來非常麻煩。
但如果用AI來處理這些素材，例如進行時間對齊，就能提升10倍左右的效率。
而利用AI，還能智能化地給素材片段打標籤，如用AI識別音頻中的演員臺詞、進行語義理解，讓導演、後期製作人員能快速檢索到想要的片段。
這些素材中，也有許多待刪減部分，如模糊片段、黑鏡和噪音廢片，也都能用AI快速識別、處理。
事實上，最後的視頻成片，並非綜藝現場的原始記錄，而是一種藝術創作。過程中，素材檢索是非常重要的一環。
除此之外，AI還能被用於視頻審覈、商務植入和視頻宣發中。
例如，視頻製作時，要求某一角色不能露出鬍子、紋身，那麼我們利用AI，就能快速找到這些不符合要求的內容。
在商務植入時，也能利用AI可以快速地計算植入時長。
至於宣發階段，也能用AI製作宣傳和預告片。例如，用AI學習視頻幀的圖案，並快速產出各種各樣的宣發視頻、預告片段。
而在電影創作上，愛奇藝也做了一個名爲ZoomAI的視頻增強技術。
這是一個AI功能包，能完成去噪、前景提亮、超分辨率、插幀等視頻優化算法。
上個月，我們還和廈門大學的人文學院成立了一個聯合實驗室，專門修復像《小兵張嘎》這樣的老電影。
現在，國內還有上萬部這樣的膠帶電影，需要被拯救、保護，如果利用AI修復，可以減少80%的工作，剩下的20%再交由廈大的同學，一幀幀手動審覈修復。
但無論是東南亞還是歐洲，語言都呈現碎片化特點，在不同的地區，可能出現多種不同的語言。
例如，僅東南亞一個地區，就有印尼語、馬來語、泰語等多種語言。
如果要做一部視頻的海外配音，就需要找各個角色的、不同語言的配音演員，成本會非常高。
因此，我們構建了一個AI音色庫，利用Voice Conversion（語音轉換）來配音，只需要給每個角色找一個“演員”，就能完成所有視頻的配音。
相對來說，TTS（語音合成）無法準確表達語氣、語調，但Voice Conversion卻能用另外一種音色，將情緒很好地表達出來。
電影之外，還有一個相對龐大、有前景的產業，就是動漫。
我們調研發現，動漫產業的創作者，基本還是在用PS等傳統工具進行創作。
過程中會先畫出線框、再完成上色，其中光是上色階段，就佔據工作量的40%~50%。
例如，讓創作者指定一種風格，比如“賽璐璐”。利用風格遷移，AI立刻就能完成“賽璐璐”風格的線稿上色。
如果涉及AI沒有學過的風格，也可以先手動給關鍵幀上色，再利用特徵遷移，將上色風格遷移到其他幀中。
上面這些AI操作，是針對傳統、製作精良的動漫設計的。除此之外，還有一種名爲輕動漫或者動態漫的動漫類型。
這種動漫，可以理解爲給漫畫加了一點動效，讓人物能夠走動、說話。
現在，輕動漫在網上的傳播量非常大，我們也已經能利用AI，製作這種動漫。
只需要用AI對動漫人物進行面部識別，再做脣形驅動，就能讓人物的嘴巴動起來，接近人工製作的效果。
此外，愛奇藝今年還推出了跨次元新星的虛偶選秀節目。
其中，左邊的“小滿”是虛擬手語主播，右邊的“小又”，則是虛擬節目主持。
利用TTS和Voice Conversion合成聲音、加上脣形和表情驅動合成口型，就能讓她們開口“說話”。
“小又”上線後非常受用戶歡迎，節目的播放量也有所提升。
我們分析發現，UGC創作的過程，大致可以分爲幾個階段。
首先，用戶會想出一個創意，圍繞創意蒐集一些素材，根據素材尋找合適的背景樂，最後在剪輯工具中完成視頻創作。
每個階段，我們都能用AI幫助創作者減少一定的工作量。
比如，愛奇藝有許多明星的“粉絲視頻”，即粉絲創作的視頻。要想製作這樣的視頻，只需要利用我們的“一鍵成片”功能，就能用AI分析一部明星出演的電影，並在10秒內創作關於這個明星的短視頻。
像易烊千璽的粉絲，只需要選擇“易烊千璽”，再選中他出演的電影《少年的你》，點上背景音樂，就能完成粉絲視頻的創作。
這種視頻，也叫“舔屏向”視頻，其中“舔屏”，指喜愛某個明星到想要舔手機屏幕的程度。
當然，愛奇藝還給內容創作者提供了一個素材庫，不再需要去盜版網站找視頻素材。
我們在隨刻創作APP的素材庫裏，利用AI對站內的長視頻進行內容理解，並打好了人物、動作、場景等標籤。
此外，APP也能根據創作的視頻內容，智能推薦較匹配的背景音樂。當然，還可以用TTS來配音、或是用ASR給視頻填充字幕等。
對於用戶消費者，我們則希望用智能技術，爲他們提供優質服務。
例如，用智能搜索、推薦算法，讓用戶快速找到喜歡的內容。
同時，我們也希望給用戶提供更好的感覺，例如，在視覺和聽覺上，給用戶以高清、流暢的體驗感。
目前，用戶已經能通過語音和手勢，對手機、平板、筆記本電腦、電視等各種電子設備上的愛奇藝APP進行操作，交互變得更加自然。
但愛奇藝APP覆蓋的設備，還包括VR頭盔、家庭娛樂設施及車載APP等，其中，有些設備無法很好地用鍵鼠、觸控進行輸入。
因此，我們做了一個Home AI的語音交互平臺，可以做語音識別。
不僅如此，這個平臺還能識別音色，根據音色來推薦內容。
例如，根據音色年齡
（老人、年輕人或小孩）
，平臺能給你推薦相關的視頻。
同時，平臺還可以做一些智能搜索，如根據知識圖譜，進行劇情智能問答。
還有一個受小朋友歡迎的功能，即用AI克隆家長的音色、來製作朗讀繪本。
除此之外，AI還能被用於我們的拍攝APP中，包括AI美顏、美妝等。
利用這些功能、加上AI的人臉識別技術，我們做了許多有意思的創新，例如一些小遊戲。
這是《青春有你》的虞書欣同學，示範的一個“喫雞腿”小遊戲，用到了五官、輪廓識別的AI技術。
當她沒喫到雞腿時，AI就會在她的輪廓上套個黑帽子。
除了這些技術以外，AI還能幫我們“智能查詢”視頻中的信息。
例如，看視頻時，用戶想知道其中某個演員叫什麼、飾演過什麼電影，或是想知道視頻的背景音樂、想了解一段臺詞的涵義。
因此，我們做了一個叫“奇觀”的智能識別平臺，不僅能識別視頻中的演員、背景音樂，還能查到臺詞的意思。
去年，“奇觀”還實現了“卡通識別”功能，像《小豬佩奇》裏的豬爸爸、豬媽媽，都能識別出來。
如果在大街上看到一張海報，還可以用愛奇藝的AR掃一掃，來識別明星。
在愛奇藝，廣告不僅是一個變現的手段，也是一種可以消費的內容。
我們希望，廣告能夠降低對用戶的打擾，成爲用戶獲取信息的一個手段。
針對廣告的個性化、精準化，我們今年也做了不少工作。
我們對愛奇藝的站內長視頻進行了精準分析，做了兩三千組標籤，包括人物、場景、動作、行爲和轉場景等。
這樣，客戶在投放廣告時，我們就可以根據他需要的場景，來進行定向投放。
例如，某個視頻中出現了購物場景，我們就可以給用戶投放一個電商廣告，來降低對用戶的干擾、增加客戶投放效率。
當然，還有叫做“Video In”的廣告，也可以用AI來識別場景，看哪些點位可以用來投放。
例如，想要植入某種藥物廣告。通過AI，我們識別到視頻中有一張桌子，就可以把這瓶藥放上去。
或是識別到視頻中有一堵牆，也可以在上面放一個廣告框、貼上廣告。
此外，愛奇藝還會直播一些如足球、網球等體育節目，我們會對其中的直播流進行實時分析。
如果出現了“高能”場景，如足球進球、或是網球得分，我們也會及時插播廣告。
這些在精彩時刻推出的廣告，效果很好。因爲這種場景下，觀衆的注意力也會非常集中。
除此之外，我們也能利用AI，爲廣告做不同的個性化海報。
針對用戶的特性，我們能讓AI生成各種風格的海報，針對性地進行分發，能極大程度上提高用戶的點擊率。
剛剛提到的這些用戶創作、廣告消費的AI功能，只是愛奇藝這個“智能板圖”中的一部分。
在視頻製作方面，我們也上線了劇本分析、流量預測等功能，至於內容剪輯，也包括智能拆條、智能混剪等AI工具。
在後臺中，涉及AI的應用就更多了，包括AI翻譯、審覈等工具，都是各大視頻網站的標配。
我們希望通過AI，將科技與藝術進行結合，來促進整個產業的升級發展。
最後，我用一句話結束今天的演講：創意讓夢想綻放，科技讓快樂簡單。
這句話，不僅是愛奇藝的使命，也是我們做AI的同學的夢想和目標。
![]()
掃一掃下方二維碼，更多精彩內容陪伴你！
掃一掃下方二維碼，更多精彩內容陪伴你！
