近日，计算机视觉顶会 ECCV 2020 已正式公布论文接收结果。本文介绍的是来自爱奇艺团队的一篇论文，研究者提出了 Boundary Content Graph Neural Network (BC-GNN)，通过图神经网络对边界和内容预测之间的关系进行建模，生成更精确的时序边界和可靠的内容置信度分数。
概述
时序动作提名生成（Temporal action proposal generation）任务需要从未处理的长视频中精确定位包含高质量动作内容的片段，该任务在视频理解中起着重要的作用。现有的方法多采用先生成起止边界，再将起止边界组合成候选动作提名，然后再生成候选时序片段的内容置信度，这种处理方式忽略了边界预测与内容预测之间的联系。
为了解决这个问题，爱奇艺提出了Boundary Content Graph Neural Network (BC-GNN)，通过图神经网络对边界和内容预测之间的关系进行建模，通过利用两者之间的内在联系生成更精确的时序边界和可靠的内容置信度分数。
在BC-GNN中， 将候选时序片段的内容（content）作为图的边（edge），将候选时序片段的边界（boundary，开始点和结束点）作为图的节点（node），然后设计了一种更新边和节点特征的推理方法，将更新之后的特征用来预测起始点概率和内容的置信度，最终生成高质量的proposal。 这一 方法最终在 ActivityNet-1.3 和 THUMOS14这两个公开数据集的时序动作提名生成任务以及时序行为检测任务上均达到了领先水平。
原文链接:【https://www.infoq.cn/article/XbHB61p5v4P0efMEcoQV】。未经作者许可，禁止转载。