全連接層參數說明
全連接層，輸出的是一個一維向量,參數跟卷積層一樣。一般將全連接置於卷積神經網絡的後幾層。權重值的初始化採用xavier,偏置初始化爲0.
layer {
name: "ip1"
type: "InnerProduct" #全連接層
bottom: "pool2" #輸入
top: "ip1" #輸出
param {
lr_mult: 1 #權重學習率倍數
}
param {
lr_mult: 2 #偏置學習率倍數
}
inner_product_param {
num_output: 500 #輸出一維向量個數
weight_filler {
type: "xavier" #權重初始化方式
}
bias_filler {
type: "constant" #偏置初始化方式
}
}
}
全連接配置參數意義
全連接計算公式
全連接計算圖示
全連接意義
全連接計算是神經網絡的基本計算單元，從歷史的角度考慮，全連接其實是前饋神經網絡，多層感知機（MLP）方法在卷積神經網絡的延用。因此，在全連接計算圖示模塊中我採用的是傳統的MLP結構。全連接層一般置於卷積神經網絡的結尾，因爲其參數量和計算量對輸入輸出數據都比較敏感，若卷積神經網絡結構前期採用全連接層容易造成參數量過大，數據計算冗餘進一步使得模型容易過擬合，因此，我們採用卷積的計算過程減少了參數量，並更夠提取合適的特徵。但是隨着深度的增加，數據信息會不斷地丟失，最後採用全連接層能夠保留住前面的重要信息，因此全連接與卷積的合理調整會對整個模型的性能產生至關重要的作用！
