愛奇藝【奇觀】:連接用戶和視頻之間交互的橋樑,提升用戶體驗 | 百萬人學AI評選

2020 無疑是特殊的一年,而 AI 在開年的這場”戰疫“中表現出了驚人的力量。站在“新十年”的起點上,CSDN【百萬人學AI】評選活動正式啓動。本屆評選活動在前兩屆的基礎上再度升級,設立了「AI優秀案例獎Top 30」、「AI新銳公司獎Top 10」、「AI開源貢獻獎Top 5」三大獎項。我們相信,榜樣的力量將成爲促進AI行業不斷髮展的重要基石,而CSDN將與這些榜樣一起,助力AI時代的”新基建“。

活動官網:https://bss.csdn.net/m/topic/ai_selection/index

申報地址:http://csdnprogrammer.mikecrm.com/WpA03hJ

一、公司簡介

2010年4月22 日正式上線,推崇品質、青春、時尚的品牌內涵如今已深入人心,網羅了全球廣大的年輕用戶羣體,積極推動產品、技術、內容、營銷等全方位創新。企業願景是做一家以科技創新爲驅動的偉大娛樂公司。於2018年3月29日在納斯達克上市。愛奇藝已成功構建了包含電商、遊戲、移動直播、漫畫、閱讀、電影票、短視頻等業務在內、連接人與服務的娛樂內容生態,引領視頻網站商業模式的多元化發展。

 

二、案例詳情

產品詳情

是連接用戶和視頻之間交互的橋樑,藉助AI的識別能力,通過用戶一鍵選擇,即可對觀影過程中的人物、明星、卡通角色、BGM、臺詞的識別。國內移動端,目前僅有愛奇藝平臺提供一鍵識別能力。通過奇觀,我們重複滿足用戶在觀看過程中的衍生內容需求,用戶不必跳出播放就能瞭解到畫面中的演員、角色、背景音樂信息;對於臺詞中提到的特有名詞、知識等,也可以通過奇觀的臺詞識別能力,獲取到相應知識的百度百科解釋。奇觀是我們在內容深度和廣度上的一次充分延展。

關鍵技術
1、    多模態人物識別技術。

愛奇藝在多模態人物識別領域領先,綜合利用人臉、人頭、人體、聲紋等多維度特徵信息,對視頻中的人物進行識別,大幅提高了綜藝、電影、電視劇中的人物識別率,愛奇藝的人臉識別模型,除了人臉的身份之外,還有其屬性信息,目前線上模型包含10+個屬性,相較於工業界的其他模型更加全面。愛奇藝人臉識別與屬性模型十五合一,一個模型可以同時識別身份屬性,且各項屬性的識別精度也比較高。奇觀是多模態人物識別技術的應用功能,目前明星識別準確率達97.54%。


2、    卡通角色識別技術。

愛奇藝目前自建了業界首個的卡通人物數據庫,擁有業內首個人工標註的大規模卡通人物識別檢測數據集。基於真實場景中視頻任務的多模態數據庫已經成爲業內重要的多模態數據,標籤清晰規模大。目前已經有超過20,000個卡通人物(虛擬形象),並開通了10W+個卡通檢測臉、38W+張卡通識別臉的iCartoonFace數據集,採用多模態人物識別技術和虛擬人物識別技術,綜合對卡通類視頻中的人物形象進行識別。奇觀時卡通人物識別技術的應用功能,目前識別準確率達到90.02%。


技術研發投入

愛奇藝一貫重視研發投入,2018年全年研發投入總計20億元人民幣,較2017年增長57%。2019年公司繼續在研發領域加大投入,第一季度研發費用支出5. 981 億元人民幣,同比增長54%。愛奇藝以科技創意爲驅動的偉大娛樂公司,有50%的技術人員爲用戶體驗背後服務者。主要人員均是畢業於中國頂尖的大學,並在全球頂尖的IT公司從事多年的人工智能相關技術研究和管理工作。分別負責不同的功能模塊,包括有平臺技術的研發、運營、產品規劃等。其中,技術研發人員均擁有成熟的人工智能研發能力和經驗,應用推廣團隊成員均具有豐富的市場推廣經驗、高度的進取心和市場敏感性。此外,公司還制定有一套嚴格的管理制度,包括財務管理制度、員工管理制度等,以確保項目按計劃執行。
愛奇藝在多模態識別領域較爲領先。

 

三、典型應用場景

  • 識別明星、識別卡通角色

觸發奇觀功能,可識別當前視頻的明星人物或卡通角色。依託愛奇藝強大的多模態人物識別和卡通識別技術。愛奇藝海量的總明星識別數到30萬+,總人物識別數到120萬+,幾乎涵蓋了愛奇藝TOP100萬中90%以上的PGC視頻,包含影視劇、綜藝、電影等多個頻道。目前在愛奇藝APP 中全量上線,用戶可以在觀看視頻時,點擊奇觀,可識別明星角色以及卡通角色,瞭解其角色相關的百科信息。

  • 識別BGM

愛奇藝通過音頻特徵抽取和匹配等技術,提供給觀衆在觀看影視中出現的配樂、背景音樂等,一鍵識別出用戶感興趣的音樂,例如:人氣自制劇《隱祕的角落》中得到應用,並得到了良好的用戶反饋;用戶一鍵識別出感興趣的音樂後,可以邊觀看視頻邊瞭解音樂信息,還可以鏈接到音樂社區進行收聽。

  • 識別商品+購買

在爆款原創綜藝《潮流合夥人》節目中,愛奇藝上線了行業首個支持識別同款商品並且進行購買,用戶可根據個人喜好,點擊奇觀來識別明星同款,隨後進入購買頁面可進行購買。該功能在自制綜藝《我是唱作人2》中得到了很好的應用,通過奇觀,開啓了新營銷場景的大門。

  • 臺詞實體識別

利用OCR和NLP等技術,通過對視頻中角色臺詞的識別,幫助用戶瞭解臺詞中的知識點、專業術語等信息。用戶可以通過奇觀按鈕,邊觀看邊瞭解臺詞中的信息。在影視劇《鬢邊不是海棠紅》得到了很好的應用,讓觀衆能夠了解豐富的戲曲知識。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章