1、卷积
将输入和输出用线连接起来,以可视化它们之间的依赖关系。线条的数量分别粗略地表示在空间和通道上执行卷积的计算成本。
最常用的 3x3 的卷积,可以通过上图进行可视化。我们可以看到,在空间中,输入和输出是局部连接的,而在通道中则是全连接。
下一个例子,conv1x1 或用于改变通道大小的逐点卷积,如上图所示。这种卷积的计算成本是 HWNM,因为其卷积核大小为 1x1,所以其计算成本是 3x3 卷积的 1/9。这种卷积被用来「融合」各个通道的信息。
2、分组卷积
分组卷积是卷积的一种变体,其中输入特征图的通道被分组,然后卷积在每组通道上独立进行。G 代表分组数量,分组卷积的计算成本是 HWNK²M/G,与标准卷积相比,分组卷积的计算成本变成了 1/G。
G=2 的分组 conv3x3 的例子。我们可以看到,与标准卷积相比,分组卷积通道中的连接数更少,这意味着更小的计算成本。
G=3 的分组 conv3x3 的例子。连接变得更加稀疏了。
G=2 的分组 conv1x1 的例子。因此,conv1x1 也可以分组。这种卷积被用在 ShuffleNet 中。
G=3 的分组 conv1x1 的例子