#Paper Reading# Learnable pooling with Context Gating for video classification

論文題目: Learnable pooling with Context Gating for video classification
論文地址: https://arxiv.org/abs/1706.06905
論文發表於: arXiv

論文大體內容：
本文主要提出了Gated NetVLAD模型，用於給視頻打標，並在kaggle比賽中取得第一名。

Motivation：
如何更有效的對視頻打標，是工業界需要迫切解決的問題，在學術界也有不少相應的研究。

Contribution：
①提出一個結合視頻信息和音頻信息的模型，取得state-of-art的效果；
②引入Context Gating層，建模網絡激活層的相關性；
③用實驗證明基於聚類的聚合方法在視頻分類中比LSTM和GRU有效；

1. 本文提出的模型結構圖如下。

2. 特徵抽取
①視頻特徵：本文使用的特徵都是由Google官方提供的在ImageNet上訓練的Inception V3模型[3]進行預抽取的（最後一層隱層），每個視頻按每秒一幀抽取，最長抽取出360幀。其中每幀視頻抽取出2048維向量（每幀視頻取平均作爲視頻整體的embedding），再使用PCA降維到1024維；
②音頻特徵：採用VGG16進行抽取，使用PCA降維到128維；

3. Learnable pooling
①VLAD[6]（Vector of Locally Aggregated Descriptors）
X ∈ R^(N*J)
C ∈ R^(K*J)
VLAD ∈ R^(J*K)

②NetVLAD[7]

③NetFV

④NetRVLAD

4. Context Gating的優勢
①防止梯度消失；
②打壓不重要的實體（比如圖像中樹比較多，但是不重要，這裏會給樹的權重低）；

5.MoE（Mixture-of-Experts）

實驗
6. Dataset
Youtube-8M Dataset[2]；

7. Baseline
①LSTM；
②GRU；
③BoW；
④NetFV；
等等；

8. Metric
GAP@20；

9. 實驗結果
①單模型效果

②Context Gating的重要性

③視頻與音頻concat的位置效果對比

④模型Ensemble效果（最好的結果是用了25個模型Ensemble取得的）


參考資料： 
[1] https://www.kaggle.com/c/youtube8m/overview
[2] https://research.google.com/youtube8m/
[3] https://arxiv.org/pdf/1609.08675.pdf
[4] https://arxiv.org/pdf/1609.09430.pdf
[5] https://www.jianshu.com/p/7d48bff4d1c3
[6] https://hal.inria.fr/file/index/docid/548637/filename/jegou_compactimagerepresentation.pdf
[7] http://openaccess.thecvf.com/content_cvpr_2016/papers/Arandjelovic_NetVLAD_CNN_Architecture_CVPR_2016_paper.pdf

以上均爲個人見解，因本人水平有限，如發現有所錯漏，敬請指出，謝謝！