ResNext:
paper: https://arxiv.org/abs/1611.05431
code: https://github.com/facebookresearch/ResNeXt
Res2Net:
paper: https://arxiv.org/pdf/1904.01169.pdf
code: https://mmcheng.net/res2net/
這次和大家分享兩篇ResNet改進系列的文章，一篇是2017年發表在CVPR上面的ResNext，其採用“split-transform-merge”思路，設計了Cardinality(基數)卷積方式，構建了ResNext block;另一篇是2019年發表的Res2Net，作者提出在原有的殘差單元結構中增加小的殘差塊，使網絡能夠在更細粒度上表示多尺度特徵，並增加每一層網絡的感受野。
ResNext是ResNet和Inception的結合體，其本質就是分組卷積，通過Cardinality(基數)來控制組的數量。ResNext的卷積塊結構如下圖1所示，其中每一個矩形框內表示的是一個卷積，參數從左到右分別是輸入通道，卷積核大小，輸出通道，然後每一列表示一個Cardinality,一共32個，最後再把所有的Cardinality的結果相加到一起，並且添加輸入到輸出的快捷連接。
圖1 ResNext卷積塊示意圖
ResNext和其他同等結構的比較如下圖2所示，圖2(a)表示先進行卷積，然後進行塊相加結合；圖2(b)表示先進行拼接，然後再進行卷積；圖2©表示將開始的1x1合併到一起，然後進行32個3x3的分組卷積。
圖2 ResNext的同等結構
ResNex的實驗結果如下圖3所示，相同層數的ResNet和ResNex在Imagenet上實驗結果表明，ResNext的訓練誤差和測試誤差都比ResNet低。
圖3 ResNext在ImagenNet-1k上的實驗結果
Res2Net是在原有的殘差單元結構中增加小的殘差塊，同時增加了每一層網絡的感受野大小，其網絡結構如下圖4所示。圖4(a)表示的是基本的殘差卷積塊；圖4(b)是對(a)中的3x3進行改進，將1x1卷積後的特徵圖按通道數平均分爲s(圖中s=4)塊，每一個小塊是Xi,每一個Xi都會進行一個3x3的卷積，用Ki ( )表示卷積，卷積結果由Yi表示, Xi與Ki-1 ( )的輸出相加，然後送入Ki ( )。這樣就可以得到不同數量和不同感受野大小的輸出，例如：y2得到3x3的感受野，y3可以得到5x5的感受野，y4則可以得到更大的7x7的感受野。最後將4個結果進行拼接融合，再進行1x1的卷積，這種先拆分後融合的思路可以得到多尺度的特徵，和更好的進行特徵融合。
圖4 Res2Net的網絡結構示意圖
Res2Net和SENet相結合的改進結構如下圖5所示，主要改進就是將Res2Net中的單個3x3卷積換成了多組的3x3卷積，並且再Res2Net後加入了一個SE block，對每一個通道分配一個權重，來增加每個通道的特徵相應。
圖5 Res2Net改進結構示意圖
Res2Net的實驗結果如下圖6所示，在ImageNet數據集上Res2Net比ResNet、DLA、SEResNet、DensNet有更小的誤差。並且在檢測和分割任務上也可以起到很好的提升精度的作用。
圖6 Res2Net在ImageNet上的實驗結果