这是一篇算是结构性的文章，拿来看一下
2019CVPR ： SK-Net
Selective Kernel Networks 由字面意思，选择性内核网络，可以自适应调整核大小的网络。
拟解决问题： 标准的CNN中，每一层的人工神经元的感受野设计为相同的大小。但是视觉皮层神经元的感受野大小是受刺激调节的，人工构造则没有考虑到这一点。这样就会导致在捕捉特征的时候无法很准确地捕捉特征。
本文则是提出了一种动态选择机制，允许每个神经元根据输入信息的多个尺度自适应调整感受野的大小。设计了一种被称为选择内核(SK)单元的构造块，在该构造块中，多个具有不同内核大小的分支使用softmax attention进行融合，并由这些分支中的信息引导。对这些分支的不同关注导致融合层神经元的有效接受野大小不同。多个SK单元被堆叠到称为选择性内核网络(SKNets)的深层网络中。SKNet中的神经元能够捕获不同尺度的目标对象，验证了神经元根据输入自适应调整感受野大小的能力。
相关工作
这一块梳理了一些结构性网络的文章，如果将来有需要可以当综述查看一下。
多分支卷积网络
Highway networks 、shake-shake networks 、multi-residual networks 、
The deep neural decision forests 、FractalNets 、 Multilevel ResNets 、The InceptionNets
分组/切除/扩张卷积
注意力机制
动态卷积
网络结构
我们先来回忆一下SE-Net的网络结构：
SK-Net：
可以看到，该SK-Net由三个算子组成:Split、Fuse和Select。
Split分割算子生成不同核大小的多条路径，对应不同的神经元感受野大小。
Fuse融合运算符结合和聚合来自多个路径的信息，以获得选择权重的全局和综合表示。
Select选择操作符根据选择权重将不同大小的核的特征映射进行聚合。
具体实现
Split 分割
对于给定的特征图X，分别以3和5的卷积核F进行转换，其中转换F都是由有效的分组或者深度卷积+BN+ReLU组成。
5x5的卷积核由3x3的卷积核以扩张因子为2进行扩张卷积。
Fuse融合
目标是使神经元能够根据刺激内容自适应地调整他们的感受野的大小。
基本思想是使用门来控制来自多个分支的信息流，这些分支携带不同尺度的信息进入下一层的神经元。
1、首先将多个分支的结果通过元素级求和进行融合：
2、然后，我们简单地使用全局平均池来嵌入全局信息，生成信道上的统计信息。
具体来说，s的第c个元素通过空间维数H×W收缩U来计算，SE模块中的压缩：
3、接着一个紧凑的特征z被创建，以使精确和自适应选择的指导成为可能。
这是通过简单的全连接(fc)层实现的，通过降维来提高效率:
Select 选择
在紧凑的特征描述 z 的引导下，使用跨通道的Soft attention 自适应地选择不同空间尺度的信息。具体来说，在通道方向的数字上使用softmax操作符:
最终的特征图：
分页