LeNet-5

輸入圖像爲32*32

C1:卷積層,濾波器6組5*5,輸出28*28 *6 。訓練參數(25個unit,1個偏置)。連接數156*28*28。神經元:28*28*6

S2:下采樣,一個濾波器2*2,,輸出14*14*6。參數6*2=12,(一個權重,一個偏置)。連接數:6*5*14*14=5880。14*14個神經元,過濾器處理一樣

C3:卷積,60個濾波器,輸出10*10。C3層的最開始的6個特徵映射依賴於S2層的特徵映射的每3個連續子集。接下來的6個特徵映射依賴於S2層的特徵映射的每4個連續子集。再接下來的3 個特徵映射依賴於S2層的特徵映射的每4個不連續子集。最後一個特徵映射依賴於S2層的所有特徵映射。這樣共有60個濾波器,大小是5 × 5 = 25。得到16組大小爲10×10 = 100的特徵映射。C3層的神經元個數爲16×100 = 1,600。可訓練參數個數爲 60 × 25 + 16 = 1,516。連接數爲1,516 × 100 = 151,600。

S4:1個濾波器2*2,輸出5*5*16。參數16*2。連接數16*5*25=2000。神經元25個。

C5:輸出1*1*120。120*16個濾波器5*5。參數120*16*25+120=48120。連接數=48120。全連接

F6:84個單元(之所以選這個數字的原因來自於輸出層的設計),與C5層全相連。有120*84+84=10164個可訓練參數和連接數。全連接

輸出層由歐式徑向基函數(Euclidean Radial Basis Function)單元組成,每類一個單元,每個有84個輸入。每個輸出RBF單元計算輸入向量和參數向量之間的歐式距離。輸入離參數向量越遠,RBF輸出的越大。一個RBF輸出可以被理解爲衡量輸入模式和與RBF相關聯類的一個模型的匹配程度的懲罰項。用概率術語來說,RBF輸出可以被理解爲F6層配置空間的高斯分佈的負log-likelihood。給定一個輸入模式,損失函數應能使得F6的配置與RBF參數向量(即模式的期望分類)足夠接近

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章