爱奇艺【奇观】:连接用户和视频之间交互的桥梁,提升用户体验 | 百万人学AI评选

2020 无疑是特殊的一年,而 AI 在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上,CSDN【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级,设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信,榜样的力量将成为促进AI行业不断发展的重要基石,而CSDN将与这些榜样一起,助力AI时代的”新基建“。

活动官网:https://bss.csdn.net/m/topic/ai_selection/index

申报地址:http://csdnprogrammer.mikecrm.com/WpA03hJ

一、公司简介

2010年4月22 日正式上线,推崇品质、青春、时尚的品牌内涵如今已深入人心,网罗了全球广大的年轻用户群体,积极推动产品、技术、内容、营销等全方位创新。企业愿景是做一家以科技创新为驱动的伟大娱乐公司。于2018年3月29日在纳斯达克上市。爱奇艺已成功构建了包含电商、游戏、移动直播、漫画、阅读、电影票、短视频等业务在内、连接人与服务的娱乐内容生态,引领视频网站商业模式的多元化发展。

 

二、案例详情

产品详情

是连接用户和视频之间交互的桥梁,借助AI的识别能力,通过用户一键选择,即可对观影过程中的人物、明星、卡通角色、BGM、台词的识别。国内移动端,目前仅有爱奇艺平台提供一键识别能力。通过奇观,我们重复满足用户在观看过程中的衍生内容需求,用户不必跳出播放就能了解到画面中的演员、角色、背景音乐信息;对于台词中提到的特有名词、知识等,也可以通过奇观的台词识别能力,获取到相应知识的百度百科解释。奇观是我们在内容深度和广度上的一次充分延展。

关键技术
1、    多模态人物识别技术。

爱奇艺在多模态人物识别领域领先,综合利用人脸、人头、人体、声纹等多维度特征信息,对视频中的人物进行识别,大幅提高了综艺、电影、电视剧中的人物识别率,爱奇艺的人脸识别模型,除了人脸的身份之外,还有其属性信息,目前线上模型包含10+个属性,相较于工业界的其他模型更加全面。爱奇艺人脸识别与属性模型十五合一,一个模型可以同时识别身份属性,且各项属性的识别精度也比较高。奇观是多模态人物识别技术的应用功能,目前明星识别准确率达97.54%。


2、    卡通角色识别技术。

爱奇艺目前自建了业界首个的卡通人物数据库,拥有业内首个人工标注的大规模卡通人物识别检测数据集。基于真实场景中视频任务的多模态数据库已经成为业内重要的多模态数据,标签清晰规模大。目前已经有超过20,000个卡通人物(虚拟形象),并开通了10W+个卡通检测脸、38W+张卡通识别脸的iCartoonFace数据集,采用多模态人物识别技术和虚拟人物识别技术,综合对卡通类视频中的人物形象进行识别。奇观时卡通人物识别技术的应用功能,目前识别准确率达到90.02%。


技术研发投入

爱奇艺一贯重视研发投入,2018年全年研发投入总计20亿元人民币,较2017年增长57%。2019年公司继续在研发领域加大投入,第一季度研发费用支出5. 981 亿元人民币,同比增长54%。爱奇艺以科技创意为驱动的伟大娱乐公司,有50%的技术人员为用户体验背后服务者。主要人员均是毕业于中国顶尖的大学,并在全球顶尖的IT公司从事多年的人工智能相关技术研究和管理工作。分别负责不同的功能模块,包括有平台技术的研发、运营、产品规划等。其中,技术研发人员均拥有成熟的人工智能研发能力和经验,应用推广团队成员均具有丰富的市场推广经验、高度的进取心和市场敏感性。此外,公司还制定有一套严格的管理制度,包括财务管理制度、员工管理制度等,以确保项目按计划执行。
爱奇艺在多模态识别领域较为领先。

 

三、典型应用场景

  • 识别明星、识别卡通角色

触发奇观功能,可识别当前视频的明星人物或卡通角色。依托爱奇艺强大的多模态人物识别和卡通识别技术。爱奇艺海量的总明星识别数到30万+,总人物识别数到120万+,几乎涵盖了爱奇艺TOP100万中90%以上的PGC视频,包含影视剧、综艺、电影等多个频道。目前在爱奇艺APP 中全量上线,用户可以在观看视频时,点击奇观,可识别明星角色以及卡通角色,了解其角色相关的百科信息。

  • 识别BGM

爱奇艺通过音频特征抽取和匹配等技术,提供给观众在观看影视中出现的配乐、背景音乐等,一键识别出用户感兴趣的音乐,例如:人气自制剧《隐秘的角落》中得到应用,并得到了良好的用户反馈;用户一键识别出感兴趣的音乐后,可以边观看视频边了解音乐信息,还可以链接到音乐社区进行收听。

  • 识别商品+购买

在爆款原创综艺《潮流合伙人》节目中,爱奇艺上线了行业首个支持识别同款商品并且进行购买,用户可根据个人喜好,点击奇观来识别明星同款,随后进入购买页面可进行购买。该功能在自制综艺《我是唱作人2》中得到了很好的应用,通过奇观,开启了新营销场景的大门。

  • 台词实体识别

利用OCR和NLP等技术,通过对视频中角色台词的识别,帮助用户了解台词中的知识点、专业术语等信息。用户可以通过奇观按钮,边观看边了解台词中的信息。在影视剧《鬓边不是海棠红》得到了很好的应用,让观众能够了解丰富的戏曲知识。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章