CVPR2018 Oral的一篇關於跨媒體(Video與NLP結合)的文章，paper鏈接 https://arxiv.org/abs/1803.07485，一作是荷蘭阿姆斯特丹大學的PHD，作者的homepage https://kgavrilyuk.github.io/，code和datasets還沒有被released出來。
個人瞎扯：這是我見過的第一篇發表出來的用NLP做video segmentetion的文章，其實還有一篇已經掛載arxiv上面了，現在應該是在投ECCV 2018。
文章要做的事情（video segmentation from a sentence）
輸入：sentence+video dataset 輸出：video mask
可視化的分割結果如下所示。
與state-of-the-art方法定量的對比結果如下所示。
method
video segmentation from a sentence framework如下所示。
從這個framework中可以看出，文章主要分爲三部分。
- sentence encoder。首先加padding使所有的sentence長度一樣，然後用在Google News dataset上面做fine-tuning的模型提取300-300-Dim的word2ver向量，然後在用1-Dim CNN提取feature。文章在ablation study中做過分析，1-Dim CNN比vanilla LSTM和bidirectional LSTM效果都要好。
- video encoder。同樣是先加padding使所有video的frame一樣長，然後再用I3D encoder video，其中有兩個trick。
– 1.在feature map的空間位置上面做L2 Norm。
– 2.把空間位置作爲額外的通道學習空間關係（qualifiers），例如left of，above等等。 - video mask decoder。直接在video representation基礎上採用deconvolutional neural network（kernel size 8 x 8 and stride 4， followed by a convolutional layer with a kernel size of 3 x 3 and a stride of 1），分別採用3個scale（32x32，128x128和512x512）的response map做loss function，highest-resolution response map是final segmentation prediction，其中也有兩個trick。
– 1.tanh activation function and L2-normalization on the features。
– 2.dynamic filters。
