愛奇藝技術總監朱儁敏：奇觀識別方案從雲遷移到端的探索和實踐

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"近年來，各類短視頻、視頻應用如雨後春筍般湧現， “AI+視頻\"的模式也是近期的熱點方向。奇觀是愛奇藝原創推出的AI創新應用產品，它融合了多模態人物識別、卡通角色識別、臺詞實體抽取、BGM識別等AI技術，支持用戶在觀影過程中識別視頻中的明星人物、卡通角色、背景音樂和臺詞梗等視頻內信息。爲了進一步瞭解愛奇藝在“AI+ 視頻”方向上的探索，在"},{"type":"link","attrs":{"href":"https:\/\/qcon.infoq.cn\/2020\/shanghai\/schedule?utm_source=infoq&utm_medium=arti&utm_campaign=8&utm_content=zhujunmin","title":"xxx","type":null},"content":[{"type":"text","text":"QCon全球軟件開發大會（上海站）"}]},{"type":"text","text":"前夕，InfoQ 有幸採訪了愛奇藝技術總監朱儁敏，聽他分享愛奇藝奇觀如何融合了多模態人物識別、卡通角色識別、BGM識別、臺詞實體抽取等多種AI技術來挖掘視頻的周邊內容。"}]}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"愛奇藝在“AI+視頻”上的探索"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"作爲視頻平臺，愛奇藝一直致力於人工智能與視頻、娛樂產業的結合，並陸續推出了針對內容創作、用戶推薦等方面的智能產品。"},{"type":"text","marks":[{"type":"strong"}],"text":"奇觀"},{"type":"text","text":"是愛奇藝原創推出的AI創新應用產品，截至今年7月，奇觀功能累計使用量已超20億次。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"據愛奇藝技術總監朱儁敏介紹，作爲一款融合了多模態人物識別、卡通角色識別、臺詞實體抽取、BGM識別等AI技術的產品，奇觀的萌芽需求來源於用戶。當時愛奇藝在分析用戶的彈幕時發現，有一定比例的用戶都在詢問“當前的演員是誰？”， “背景音樂是啥？” 等跟視頻強相關的問題。原來用戶獲取該類問題的答案路徑是通過愛奇藝搜索或者百度搜索，但是效果並不是很好，造成這一結果的原因主要有兩方面："},{"type":"text","marks":[{"type":"strong"}],"text":"一方面是因爲用戶需要打破原來沉浸式的觀影體驗；另一方面在於搜索無法做到海量內容實時索引，內容熱播的時候一般是無法搜索到用戶想要的結果的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"爲了解決上述問題，愛奇藝於2019年首先在TV端進行了一些嘗試。用戶在觀影時（當時的名字叫AI雷達），可以通過遙控上鍵識別視頻中的明星，奇觀產品推出後得到用戶的一致好評，功能滲透率超出團隊的預期。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}}]}