近日，計算機視覺頂會 ECCV 2020 已正式公佈論文接收結果。本文介紹的是來自愛奇藝團隊的一篇論文，研究者提出了 Boundary Content Graph Neural Network (BC-GNN)，通過圖神經網絡對邊界和內容預測之間的關係進行建模，生成更精確的時序邊界和可靠的內容置信度分數。
概述
時序動作提名生成（Temporal action proposal generation）任務需要從未處理的長視頻中精確定位包含高質量動作內容的片段，該任務在視頻理解中起着重要的作用。現有的方法多采用先生成起止邊界，再將起止邊界組合成候選動作提名，然後再生成候選時序片段的內容置信度，這種處理方式忽略了邊界預測與內容預測之間的聯繫。
爲了解決這個問題，愛奇藝提出了Boundary Content Graph Neural Network (BC-GNN)，通過圖神經網絡對邊界和內容預測之間的關係進行建模，通過利用兩者之間的內在聯繫生成更精確的時序邊界和可靠的內容置信度分數。
在BC-GNN中， 將候選時序片段的內容（content）作爲圖的邊（edge），將候選時序片段的邊界（boundary，開始點和結束點）作爲圖的節點（node），然後設計了一種更新邊和節點特徵的推理方法，將更新之後的特徵用來預測起始點概率和內容的置信度，最終生成高質量的proposal。 這一 方法最終在 ActivityNet-1.3 和 THUMOS14這兩個公開數據集的時序動作提名生成任務以及時序行爲檢測任務上均達到了領先水平。
原文鏈接:【https://www.infoq.cn/article/XbHB61p5v4P0efMEcoQV】。未經作者許可，禁止轉載。