人工智能算法-inception v1 v2 v3 v4

Inception v1

inception 的核心就是把google net的某一些打的卷積層換成 11 33 5*5 的小卷積，這樣可以大大的減少權值參數數量，下圖

例子:比如這一層本來是2828大小的卷積核，一共輸出224層，換成inception以後就是64層11，128層33,32層55。這樣最後依然是224層，但是參數個數明顯減少，
從28*28*224變成了64*1*1+128*3*3+32*5*5

def inception(net):
    with tf.variable_scope('Branch_1'):
            tower_conv_1 = slim.conv2d(net, 64, 1, scope='Conv2d_1x1')
    with tf.variable_scope('Branch_3'):
            tower_conv_3 = slim.conv2d(net, 128, 3, scope='Conv2d_3x3')
    with tf.variable_scope('Branch_5'):
            tower_conv_5 = slim.conv2d(net, 32, 5, scope='Conv2d_5x5')

    mixed = tf.concat([tower_conv_1, tower_conv_3, tower_conv_5], 3)

    return mixed

既然變小，爲什麼不直接使用11的，而還需要33,5*5，這樣是爲了適應更多的尺度，保證輸入圖像即使被縮放也還是可以正常工作，畢竟相等於有個金字塔去檢測了

Inception v2

下圖爲inception v2

inception v2其實在網絡上沒有什麼改動，只是在輸入的時候增加了batch_normal，所以他的論文名字也是叫batch_normal，加了這個以後訓練起來收斂更快，學習起來自然更高效，可以減少dropout的使用，他的normalization的過程是這樣的

其實也是個很簡單的正則化處理，這樣保障出現過的最大值爲1，最小值爲0，所有輸出保障在0-1之間。
論文還提到了batch_normal

當然，有了batch_normal並不是完整的inception V2，官方定義這個叫做V1的加強版，後來google又出了一篇新論文，把55的卷積改成了兩個33的卷積串聯，它說一個55的卷積看起來像是一個55的全連接，所以乾脆用兩個3*3的卷積，第一層是卷積，第二層相當於全連接，這樣可以增加網絡的深度，並且減少了很多參數。

Inception v3

inception V3把googlenet裏一些77的卷積變成了17和71的兩層串聯，33的也一樣，變成了13和31，這樣加速了計算，還增加了網絡的非線性，減小過擬合的概率。另外，網絡的輸入從224改成了299.

Inception V4

inception v4實際上是把原來的inception加上了resnet的方法，從一個節點能夠跳過一些節點直接連入之後的一些節點，並且殘差也跟着過去一個。
另外就是V4把一個先11再33那步換成了先33再11.
論文說引入resnet不是用來提高深度，進而提高準確度的，只是用來提高速度的。

論文

[v1] Going Deeper with Convolutions, 6.67% test error, http://arxiv.org/abs/1409.4842
[v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 4.8% test error, http://arxiv.org/abs/1502.03167
[v3] Rethinking the Inception Architecture for Computer Vision, 3.5% test error, http://arxiv.org/abs/1512.00567
[v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, 3.08% test error, http://arxiv.org/abs/1602.07261