面試題(1)

一、啄雲智能電話面試

Q1: 全連接層與卷積層的區別

我沒有答上來。 課後補習:

卷積提取的是局部特徵,而全連接及時把以前的局部特徵通過權重矩陣組成完整的圖。

 

(1)全連接層:

****全連接層也是一種卷積層;相當於他的卷積核大小跟特徵圖大小一樣, 缺點是參數很多(全連接層參數可以站短到整個網絡參數的80%)。因爲普通的卷積的滑動窗口只有一個小滑窗那麼大,但是全連接層的卷積核與特徵圖一樣大,所以導致網絡參數非常多。

全連接層中的每個神經元與前一層中的所有神經元進行全連接,用來把前面所提取的所有特徵都綜合起來。

優點是:大大減少特徵位置對分類結果產生的影響。(不管物體在圖中的哪個位置都能夠找得到,不受位置空間的影響。最後得到的結果如果比較大就說明有物體在,如果值比較小就說明沒有物體存在。

全連接不適合用來分割,只適合解決分類問題。)

分類任務中,在全連接層中紅色的神經元表示這個特徵被激活了,其他的神經元要不然是特徵不明顯,要不然是沒找到。

 

全連接層需要將輸入拉成一個列向量。如果說輸入的feature map 是一個2*2,則需要把這個feature map 拉成4*1的列向量;

如果說feature map的channel是3, 則輸入大小是3*2*2,拉成列向量後就爲12*1,相當於有12個像素點。

這時,如果再乘以一個權重,則這個權重的形式應該是1*12,所以經過一個全連接層後最後的輸出就是(1*12)x(12*1)=1*1.

這時就需要看需要多少個神經元了,如果是需要5個神經元的話,那麼輸出就是5*((1*12)x(12*1))=5*(1*1)。這個權重矩陣中的3代表3行(3個權重矩陣),也就是每一行與輸入相乘,得到一個輸出:

 

全連接層對模型參數的影響有三個:

1、全連接層的總層數(長度)

2、單個全連接層的神經元個數(寬度)

3、激活函數

其中,激活函數的作用是:增加模型的非線性表達能力。

(二)卷積層:

conv:   1.相當於一個特徵提取器來提取特徵

    2.提供了位置信息

    3.減少了參數個數

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章