定義
行爲識別似乎是圖像分類任務到多個幀的擴展,然後聚合來自每幀的預測
背景
傳統方法,視頻輸入=》特徵提取=》特徵融合=》特徵分類=》分類結果
深度學習方法,單流法,雙流法,基於骨架
特徵提取,ROI提取表示
傳統方法
DT(Dense Trajectories)算法,是利用光流場來獲得視頻序列中的軌跡,在沿着軌跡提取軌跡形狀特徵HOF,HOG,MHB特徵,然後利用BoF(Bag of Features)方法對特徵進行編碼,最後基於編碼結果訓練SVM分類器。
iDT算法,基於DT算法進行了以下幾點的改進:對光流圖像的優化,估計相機運動;特徵正則化方式的改進;特徵編碼方式的改進
相機運動估計:通過估計相機運動來消除背景上的光流以及軌跡;假設相鄰的兩幀圖像之間的關係可以用一個投影變換矩陣來描述,即後一幀圖像是前一幀圖像通過投影變換得到的;爲了準確估計投影變換,採用了SURF特徵以及光流特徵來獲得匹配點對;還使用human detector檢測人的位置框,並去除該框中的匹配點對。