筆記——Learning Transferable Architectures for Scalable Image Recognition

版權聲明：本文爲博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/smilewsw/article/details/78469851

主要思想：

​通過NAS(Neural Architecture Search Framework)在CIFAR-10 dataset上找到最優的網絡結構，再擴展到ImageNet dataset上。
​模型提升——​ This paper 1.2%better computer cost: a reductionof 28%

定義優化問題：

• 定義兩種類型的convolution layer：
  ​ a. Normal Cell: 輸入輸出的feature map大小相同
  ​ b. Reduction Cell: 輸出feature map height/2, width/2
• 上述兩種layer中可以包含如下操作：

• 整體架構如Figure2所示
  ​ 每當feature map大小減小一半，filter個數加倍2x
  

• 優化目標參數：Normal layer的重複個數N，初始層的filter參數，兩種layer的內部結構

優化過程：(隨便貼個圖，反正知道了也沒用，需要500+GPU訓若干天)

• NAS(Neural Architecture Search Framework)
  
  

最優結構：

越來越接近生物神界結構

結果評測：

(6@768，表示Normal Cell重複次數N=6，網絡中倒數第二層的filter個數爲768)

​ 無論是任務遷移(從分類應用到檢測)還是模型壓縮(移動設備)方面，NAS都表現很優秀