#本文意爲總結自己學習的網絡模型,以留作筆記使用，如有錯誤,歡迎在下方評論
一、簡介
NIN改進了傳統的CNN，採用了少量參數就取得了超過AlexNet的性能，AlexNet網絡參數大小是230M，NIN只需要29M
二、網絡結構
NIN文章使用的網絡架構如圖（總計4層）：3mlpconv + 1global_average_pooling
改進：
1、傳統CNN使用的通用線性模型（generalized linear model ，GLM) [藍框部分] 被替換爲 多層感知機（MLP，多層全連接層和非線性函數的組合） [綠框部分] ：
以前的卷積層，局部感受野運算僅僅是是一個單層的神經網絡（線性濾波器對圖像進行內積運算，在跟着一個非線性激活函數），mlpconv層可以看成局部感受野上進行conv運算之前，還進行mlp運算，而MLP網絡中，常見的使用三層的全連接結構，等效於普通卷積後在連接1:1的卷積和Relu函數
優點：1. 提供了網絡層間映射的一種新可能；2. 增加了網絡卷積層的非線性能力。
2、先前CNN中的 全連接層 被替換爲了 全局池化層 (global average pooling)
傳統的卷積網絡用卷積提取特徵，然後得到的特徵再用FC+softmax邏輯迴歸分類層進行分類。
使用全局平均池化層，每個特徵圖作爲一個輸出。這樣參數量大大減小，並且每一個特徵圖相當於一個輸出特徵（表示輸出類的特徵）。
參考：NIN 論文筆記