CNN--ResNeXt--Aggregated Residual Transformations for Deep Neural Networks

Paper:https://arxiv.org/pdf/1611.05431.pdf

Code:https://github.com/Cadene/pretrained-models.pytorch/blob/master/pretrainedmodels/models/resnext.py

 

簡述:此網絡屬於ResNet系列。在保持計算和空間複雜度的前提下,通過構建可複用的一個block,這個block聚合了一組有相同拓撲的轉換,實現分類精度相對於ResNet的提高。並且可以輕易的轉換到其他的任務上。

      論文可以理解爲ResNet和Inception的結合。通過將Inception中的block中的多個不同分支(1*1、3*3、5*5等)修改爲統一的拓撲結構(3*3),其中包含了升維和降維(1*1)以減少計算量,而且增加了分支的數量;並採用了ResNet(shortcut)結構。以下爲論文中的三種結構。

å¨è¿éæå¥å¾çæè¿°

優點:

      1):與 ResNet 相比,相同的參數個數,結果更好。 ResNeXt-101 網絡,和  ResNet-200 準確度差不多,但是計算量只有後者的一半與 ResNet 相比。通過增加容量(變得更深或更寬)來提升模型精度相對簡單,本文提升精度同時保持(或減少)複雜度。

      2):基數(cardinality)是比深度和寬度 更有效的維度

 

補充知識:

     1):計算複雜度和空間複雜度的計算公式:

       M爲輸入特徵圖的size,K爲卷積核的size,C_{l-1}C_{l}分別爲輸入、輸出的channel數。

 

å·ç§¯ç¥ç»ç½ç»çå¤æ度åæ

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章