不定期讀一篇Paper之SENet

前言

　　首先，引用原文中的一段文字，如下圖：

　　所以，SENet的提出了更加關注不同通道的之間的重要程度，下面是VGG16網絡第一層的特徵圖可視化圖片來源，共有64個通道，從圖中我們可以看出不同特徵圖所關注的圖像的特徵不同（當然，隨着網絡的加深，網絡能夠表達的信息更加的抽象，這裏引用了淺層網絡）,有些通道關注是一些紋理信息，有些是一些輪廓信息等，所以，一個直觀的理解在我們對圖像的處理過程中我們希望關注的層次能夠有”側重點“，這樣能夠使我們的網絡總會關注那些有用的信息。

框架

　　SENet提出關注網絡卷積層中不同通道的重要程度，而這個重要程度是可以學習的，相當於我們可以學習到每一個通道相應的權重分數，然後，把它與我們的相應的通道的結合，就可以使得不同的通道表示的結果整體上有了側重點。

下圖是SENet模塊：

　　實現原理結合以下pytorch代碼理解，個人覺得這是一個原理上很直觀，但是思路新奇的架構

class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        """
        :param channel:輸入通道
        :param reduction:縮減倍數
        """
        super(SELayer, self).__init__()
        # 1. Squeeze(average pooling)
        self.avg_pool = nn.AdaptiveAvgPool2d(1)

        # 2.Excitation
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_as(x)

這裏列舉幾個重要的點：

縮減倍數的選擇，作者說這是一個超參數，在不同的深度的layer中，你可以選擇調整不同的縮減比例來提高你的網絡性能。
全局平均池化的選擇，原則上你也可以選擇最大池化，作者證明兩者效果相差不大，但全局平均池化在整體效果會好一點。
網絡模塊的插入應該在卷積操作後，非線性激活函數的前面（relu）,因爲SENet最後選擇sigmoid來凸顯不同通道的重要程度（實驗上sigmoid的效果也更好一些，相比於relu、tanh），相當於一個門控單元。而我們知道simmoid激活函數在網絡很深的時候會出現梯度消失和爆炸，尤其是在嵌入殘差網絡，所以選擇在原激活函數前添加模塊。下圖是在inception Net和Residual Net中插入SE module