深度學習基礎（四）—— 神經網絡各層的意義

1 卷積層

• 稀疏交互：減少時間複雜度，提高運算時間。
• 參數共享：
  • 降低模型參數的存儲需求，提高統計效率。
  • 參數共享的特殊形式使得神經網絡層具有對平移等變（equivariance）的性質

1.1 卷積神經網絡的感受野

1.1.1 感受野的概念

感受野就是視覺感受區域的大小。在卷積神經網絡中，感受野的定義是 卷積神經網絡每一層輸出的特徵圖（feature map）上的像素點在原始圖像上映射的區域大小

1.1.2 感受野的計算

• 第一層卷積層的輸出特徵圖像素的感受野的大小等於濾波器的大小
• 計算感受野大小時，忽略了圖像邊緣的影響，不考慮padding的大小
• strides的概念
  $stride（i） = stride(1) * stride(2) * ...* stride(i-1)$
• 感受野大小的計算採用top to down的方式， 即先計算最深層在前一層上的感受野，然後逐漸傳遞到第一層。
  
  
  具體推導：
  
  ##1.2 卷積層的參數量和計算量
  輸入爲28×28的單通道圖，經過一層卷積以後輸出爲24×24×20，卷積核的數量爲20。再經過一層pooling層尺寸爲12×12×20。則單樣本前向傳播計算量爲：5×5×24×24×20 = 288 000，實際計算量還應乘以batchsize = 64。卷積層參數數量爲：5×5×20 = 500。計算量和參數比爲：288000/500 = 576.

2 池化層

• 局部平移不變性是一個很有用的性質，尤其是當我們關心某個特徵是否出現而不關心它出現的具體位置時。平移的不變性是指當我們對輸入進行少量平移時，經過池化函數後的大多數輸出並不會發生改變。
• 增大特徵圖的感受野

3 全連接層

卷積部分得到的featuremap爲4×4×50,全連接部分是將featuremap展開成一維向量再與全連接相連。所以單樣本前向傳播計算量爲：4×4×50×500 = 400 000，參數數量爲4×4×50×500 = 400 000。在全連接中計算量和參數比始終爲1，就是源於全連接的特性。