機器學習面試題(2)局部響應歸一化Local Response Normalization有什麼作用?

(1)神經學的啓發。在神經生物學中,有一個概念叫做側抑制(lateral inhibitio ),指的是被激活的神經元會抑制它周圍的神經元,局部響應歸一化就是借鑑“側抑制”的思想來實現局部抑制,當我使用relu激活函數的時局部抑制更明顯。

(2)削弱數據差異。歸一化數據處理可以消除數據之間的量綱差異,便於數據利用與快速計算。

(3)增強網絡泛化能力。對局部神經元的活動創建競爭機制,使得其中響應比較大的值變得相對更大,並抑制其他反饋較小的神經元,增強了模型的泛化能力。LRN通過在相鄰卷積核生成的feature map之間引入競爭,從而有些本來在feature map中顯著的特徵更顯著,而在相鄰的其他feature map中被抑制,這樣讓不同卷積核產生的feature map之間的相關性變小。
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章