標題：Convolutional Two-Stream Network Fusion for Video Action Recognition
本文是對標準原始2-steam網絡進行改進，和原始2-steam網絡在softmax後融合分數不同的是，本文提出在卷積層進行融合，以此學習在空間域和時間域的融合關係，而後再把這種融合關係應用到網絡中。
視頻動作識別領域卷積神經網絡還不如向人臉識別，物體分類，動作識別領域那麼表現優秀。原因：
一個原因是訓練數據太少或者噪音太多。和圖像分類相比，視頻動作識別還受到運動和視角的影響。所以可能需要更多的訓練樣本。
另一個原因是卷積神經網絡架構目前還不能很好的對時間域的信息進行有效利用，目前作用還是集中在空間域，比如物體識別。
分爲兩個流：
空間流處理靜止圖像幀，得到形狀信息
時間流處理連續多幀稠密光流，得到運動信息
缺點：
無法學習到時間特徵和空間特徵的像素間的對應關係
如何隨時間演變的（對時間維度的利用很有限，空間網絡只用了1幀，時間網絡只用了10幀）
空間流卷積網絡：
時間流卷積網絡： I τ ∈ R w × h × 2 L I_{\tau} \in \mathbb{R}^{w \times h \times 2 L} I τ ∈ R w × h × 2 L I τ ( u , v , 2 k − 1 ) = d τ + k − 1 x ( p k ) I τ ( u , v , 2 k ) = d τ + k − 1 y ( p k ) , u = [ 1 ; w ] , v = [ 1 ; h ] , k = [ 1 ; L ] \begin{array}{l}
I_{\tau}(u, v, 2 k-1)=d_{\tau+k-1}^{x}\left(\mathbf{p}_{k}\right) \\
I_{\tau}(u, v, 2 k)=d_{\tau+k-1}^{y}\left(\mathbf{p}_{k}\right), \quad u=[1 ; w], v=[1 ; h], k=[1 ; L]
\end{array} I τ ( u , v , 2 k − 1 ) = d τ + k − 1 x ( p k ) I τ ( u , v , 2 k ) = d τ + k − 1 y ( p k ) , u = [ 1 ; w ] , v = [ 1 ; h ] , k = [ 1 ; L ]
p 1 = ( u , v ) ; p k = p k − 1 + d τ + k − 2 ( p k − 1 ) , k > 1 \mathbf{p}_{1}=(u, v) ; \quad \mathbf{p}_{k}=\mathbf{p}_{k-1}+\mathbf{d}_{\tau+k-2}\left(\mathbf{p}_{k-1}\right), k>1 p 1 = ( u , v ) ; p k = p k − 1 + d τ + k − 2 ( p k − 1 ) , k > 1
融合方式： Sum fusion y s u m = x t a + x t b y s u m ∈ R H × W × D Max fusion y max = max ( x t a , x t b ) y max ∈ R H × W × D Concat fusion y cat = cat ( 3 , x t a , x t b ) y cat ∈ R H × W × 2 D Conv fusion y conv = y cat ∗ f + b f ∈ R 1 × 1 × 2 D × D , b ∈ R D y conv ∈ R H × W × D Biliner fusion y bil = ∑ j = 1 M ∑ i = 1 M x i , j a ⊗ x i , j b y b i l ∈ R D × D \begin{array}{ccc}
\text { Sum fusion } & y^{s u m}=x_{t}^{a}+x_{t}^{b} & y^{s u m} \in R^{H \times W \times D} \\
\text { Max fusion } & y^{\max }=\max \left(x_{t}^{a}, x_{t}^{b}\right) & y^{\max } \in R^{H \times W \times D} \\
\text { Concat fusion } & y^{\text {cat }}=\operatorname{cat}\left(3, x_{t}^{a}, x_{t}^{b}\right) & y^{\text {cat }} \in R^{H \times W \times 2 D} \\
\text { Conv fusion } & y^{\text {conv }}=y^{\text {cat }} * f+b & \begin{array}{c}
f \in R^{1 \times 1 \times 2 D \times D}, b \in R^{D} \\
y^{\text {conv }} \in R^{H \times W \times D}
\end{array} \\
\text { Biliner fusion } & y^{\text {bil }}=\sum_{j=1}^{M} \sum_{i=1}^{M} x_{i, j}^{a} \otimes x_{i, j}^{b} & y^{b i l} \in R^{D \times D}
\end{array} Sum fusion Max fusion Concat fusion Conv fusion Biliner fusion y s u m = x t a + x t b y max = max ( x t a , x t b ) y cat = c a t ( 3 , x t a , x t b ) y conv = y cat ∗ f + b y bil = ∑ j = 1 M ∑ i = 1 M x i , j a ⊗ x i , j b y s u m ∈ R H × W × D y max ∈ R H × W × D y cat ∈ R H × W × 2 D f ∈ R 1 × 1 × 2 D × D , b ∈ R D y conv ∈ R H × W × D y b i l ∈ R D × D
sum和max沒有改變維數D
2D Pooling：把網絡對不同時刻的預測值進行平均。這種架構只是在2D上進行pooling 。
卷積學習時域（綠）和空域（藍）的權重（對應關係），同時也能學習局部x, y, t權重。
與以前的方法相比，新的結構沒有顯著增加參數的數量，但在兩個標準基準數據集上超過了現有的水平。
