摘要
Network in Network(‘NIN’) 構造了一個複雜的微型網絡結構，用於對數據進行抽象處理（其實就是提取特徵）。利用全局平均池化對特徵圖進行分類，能夠有效避免過擬合問題。
特點
- 卷積神經網絡的假定是線性可分的。NIN中的微型網絡結構可以進行非線性的劃分。利用多層感知機（MLP）作爲微型網絡結構的一部分，感知機是普遍的函數近似者，同時又可以進行back propagation.
- mlpconv layer代替了傳統神經網絡的卷基層和pooling層，mlpconv layer的中間是多個MLP串聯，多個mlpconv layer串聯構成了NIN。
- 傳統神經網絡fc層是黑箱，用全局均值池化來代替fc層，它是特徵圖和分類之間的鏈接通道。fc會導致過擬合問題，同時依賴dropout規範化現象很嚴重，全局均值池化本身就帶有規則化的功能，能夠有效的避免過擬合問題。
- 全局均值池化特點：One advantage of global average pooling over the fully connected layers is that it is more native to the convolution structure by enforcing correspondences between feature maps and categories. 第二點，不要要進行參數優化，避免了過擬合。此外，全局均值池化總結了空間信息，對於空間信息的轉換更加具有魯棒性。
這裏選擇多層感知機主要考慮了以下兩個方面：
1. 多層感知機跟卷及神經網絡一樣可以利用back propogation 進行反饋 訓練網絡；
2. 多層感知機自己也可以生成深度模型。
傳統卷積神經網絡可以看做特徵提取器，full-connected結構 後面連接的softmax等分類結構。
但是fc層存在很多問題，易於過擬合，影響整個網絡的性能。dropout可以設置一部分fc參數爲0，從而使其對網絡不產生影響，因此總會跟fc層一起使用。
global average pooling用來代替傳統的fc網絡層。
visualization of NIN
對最後一層milconv layer進行可視化。。。。。、
並不是global average pooling 可視化。
可以直接利用caffe對特徵圖進行可視化。
這篇文章看了很久了，終於看明白了。
MLPconv層，其實就是一個正常的卷積神經網絡+kernel爲1 的卷積神經網絡（n個），每個卷積神經網絡的特徵層數可以自己設置，但是最後一組的最後一個mlpconv層的輸出維數爲類別數（class數目）。
global average pooling層 就是對最後的n個特徵層數，每個特徵層做一個均值，就生成了n個數字，然後輸入softmax進行分類。它的kernel大小要根據最後一組最後一層卷積神經網絡的輸出大小決定，比如是10（類數）X m（pooling後的大小） X m,那麼kernel的值就應該是m。
Emma
2017.02.27
