标题：Convolutional Two-Stream Network Fusion for Video Action Recognition
本文是对标准原始2-steam网络进行改进，和原始2-steam网络在softmax后融合分数不同的是，本文提出在卷积层进行融合，以此学习在空间域和时间域的融合关系，而后再把这种融合关系应用到网络中。
视频动作识别领域卷积神经网络还不如向人脸识别，物体分类，动作识别领域那么表现优秀。原因：
一个原因是训练数据太少或者噪音太多。和图像分类相比，视频动作识别还受到运动和视角的影响。所以可能需要更多的训练样本。
另一个原因是卷积神经网络架构目前还不能很好的对时间域的信息进行有效利用，目前作用还是集中在空间域，比如物体识别。
分为两个流：
空间流处理静止图像帧，得到形状信息
时间流处理连续多帧稠密光流，得到运动信息
缺点：
无法学习到时间特征和空间特征的像素间的对应关系
如何随时间演变的（对时间维度的利用很有限，空间网络只用了1帧，时间网络只用了10帧）
空间流卷积网络：
时间流卷积网络： I τ ∈ R w × h × 2 L I_{\tau} \in \mathbb{R}^{w \times h \times 2 L} I τ ∈ R w × h × 2 L I τ ( u , v , 2 k − 1 ) = d τ + k − 1 x ( p k ) I τ ( u , v , 2 k ) = d τ + k − 1 y ( p k ) , u = [ 1 ; w ] , v = [ 1 ; h ] , k = [ 1 ; L ] \begin{array}{l}
I_{\tau}(u, v, 2 k-1)=d_{\tau+k-1}^{x}\left(\mathbf{p}_{k}\right) \\
I_{\tau}(u, v, 2 k)=d_{\tau+k-1}^{y}\left(\mathbf{p}_{k}\right), \quad u=[1 ; w], v=[1 ; h], k=[1 ; L]
\end{array} I τ ( u , v , 2 k − 1 ) = d τ + k − 1 x ( p k ) I τ ( u , v , 2 k ) = d τ + k − 1 y ( p k ) , u = [ 1 ; w ] , v = [ 1 ; h ] , k = [ 1 ; L ]
p 1 = ( u , v ) ; p k = p k − 1 + d τ + k − 2 ( p k − 1 ) , k > 1 \mathbf{p}_{1}=(u, v) ; \quad \mathbf{p}_{k}=\mathbf{p}_{k-1}+\mathbf{d}_{\tau+k-2}\left(\mathbf{p}_{k-1}\right), k>1 p 1 = ( u , v ) ; p k = p k − 1 + d τ + k − 2 ( p k − 1 ) , k > 1
融合方式： Sum fusion y s u m = x t a + x t b y s u m ∈ R H × W × D Max fusion y max = max ( x t a , x t b ) y max ∈ R H × W × D Concat fusion y cat = cat ( 3 , x t a , x t b ) y cat ∈ R H × W × 2 D Conv fusion y conv = y cat ∗ f + b f ∈ R 1 × 1 × 2 D × D , b ∈ R D y conv ∈ R H × W × D Biliner fusion y bil = ∑ j = 1 M ∑ i = 1 M x i , j a ⊗ x i , j b y b i l ∈ R D × D \begin{array}{ccc}
\text { Sum fusion } & y^{s u m}=x_{t}^{a}+x_{t}^{b} & y^{s u m} \in R^{H \times W \times D} \\
\text { Max fusion } & y^{\max }=\max \left(x_{t}^{a}, x_{t}^{b}\right) & y^{\max } \in R^{H \times W \times D} \\
\text { Concat fusion } & y^{\text {cat }}=\operatorname{cat}\left(3, x_{t}^{a}, x_{t}^{b}\right) & y^{\text {cat }} \in R^{H \times W \times 2 D} \\
\text { Conv fusion } & y^{\text {conv }}=y^{\text {cat }} * f+b & \begin{array}{c}
f \in R^{1 \times 1 \times 2 D \times D}, b \in R^{D} \\
y^{\text {conv }} \in R^{H \times W \times D}
\end{array} \\
\text { Biliner fusion } & y^{\text {bil }}=\sum_{j=1}^{M} \sum_{i=1}^{M} x_{i, j}^{a} \otimes x_{i, j}^{b} & y^{b i l} \in R^{D \times D}
\end{array} Sum fusion Max fusion Concat fusion Conv fusion Biliner fusion y s u m = x t a + x t b y max = max ( x t a , x t b ) y cat = c a t ( 3 , x t a , x t b ) y conv = y cat ∗ f + b y bil = ∑ j = 1 M ∑ i = 1 M x i , j a ⊗ x i , j b y s u m ∈ R H × W × D y max ∈ R H × W × D y cat ∈ R H × W × 2 D f ∈ R 1 × 1 × 2 D × D , b ∈ R D y conv ∈ R H × W × D y b i l ∈ R D × D
sum和max没有改变维数D
2D Pooling：把网络对不同时刻的预测值进行平均。这种架构只是在2D上进行pooling 。
卷积学习时域（绿）和空域（蓝）的权重（对应关系），同时也能学习局部x, y, t权重。
与以前的方法相比，新的结构没有显著增加参数的数量，但在两个标准基准数据集上超过了现有的水平。
