面向面部的跨流網絡,用於視頻中的欺騙檢測

 

真實視頻中的自動欺騙檢測(ADD)是一項艱鉅的任務。它特別需要解決兩個問題:

(1)面部和身體都包含有關對象是否具有欺騙性的有用線索。因此,如何有效地融合兩者是ADD模型有效性的關鍵。

(2)現實生活中的欺騙性樣本難以收集;因此,在訓練數據有限的情況下進行學習會挑戰大多數基於深度學習的ADD模型。在這項工作中,兩個問題都得到解決。具體地,對於面部-身體多模態學習,提出了一種新穎的針對面部的交叉流網絡(FFCSN)。

它與流行的兩流網絡明顯不同之處在於:

a 將面部檢測添加到空間流中以顯式捕獲面部表情,

b 在空間和時間流上進行相關學習,以便在面部和身體上進行聯合深度特徵學習。

 

爲了解決訓練數據稀缺的問題,我們的FFCSN模型接受了元學習和對抗學習的訓練。大量實驗表明,我們的FFCSN模型達到了最新的結果。此外,所提出的FFCSN模型及其魯棒的訓練策略被證明通常可應用於其他以人爲中心的視頻分析任務,例如從用戶生成的視頻中進行情感識別。

 

ffcsn_rimple

Re-implementation of Face-Focused Cross Stream Network for deception detection in videos

 

experiments\spatial_network\train.py

r"""PyTorch Detection Training.

To run in a multi-gpu environment, use the distributed launcher::

    python -m torch.distributed.launch --nproc_per_node=$NGPU --use_env \
        train.py ... --world-size $NGPU

The defau
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章