CNN--ResNeXt--Aggregated Residual Transformations for Deep Neural Networks

Paper:https://arxiv.org/pdf/1611.05431.pdf

Code:https://github.com/Cadene/pretrained-models.pytorch/blob/master/pretrainedmodels/models/resnext.py

 

简述:此网络属于ResNet系列。在保持计算和空间复杂度的前提下,通过构建可复用的一个block,这个block聚合了一组有相同拓扑的转换,实现分类精度相对于ResNet的提高。并且可以轻易的转换到其他的任务上。

      论文可以理解为ResNet和Inception的结合。通过将Inception中的block中的多个不同分支(1*1、3*3、5*5等)修改为统一的拓扑结构(3*3),其中包含了升维和降维(1*1)以减少计算量,而且增加了分支的数量;并采用了ResNet(shortcut)结构。以下为论文中的三种结构。

å¨è¿éæå¥å¾çæè¿°

优点:

      1):与 ResNet 相比,相同的参数个数,结果更好。 ResNeXt-101 网络,和  ResNet-200 准确度差不多,但是计算量只有后者的一半与 ResNet 相比。通过增加容量(变得更深或更宽)来提升模型精度相对简单,本文提升精度同时保持(或减少)复杂度。

      2):基数(cardinality)是比深度和宽度 更有效的维度

 

补充知识:

     1):计算复杂度和空间复杂度的计算公式:

       M为输入特征图的size,K为卷积核的size,C_{l-1}C_{l}分别为输入、输出的channel数。

 

å·ç§¯ç¥ç»ç½ç»çå¤æ度åæ

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章