深度學習中的局部響應歸一化LRN(Local Response Nomalization)

在這裏插入圖片描述

i表示第i個核在位置(x,y)運用激活函數ReLU後的輸出,n是同一位置上臨近的kernal map的數目,N是kernal的總數。參數K,n,alpha,belta都是超參數,一般設置k=2,n=5,aloha=1*e-4,beta=0.75。

Local Response Nomalization在CNN中設計是什麼意圖?

LRN和LCN都 是爲了引入局部競爭機制,個人理解是:在相鄰卷積核生成的feature map之間引入競爭,從而有些本來在feature map中顯著的特徵在A中更顯著,而在相鄰的其他feature map中被抑制,這樣讓不同卷積核產生的feature map之間的相關性變小。

參考資料

【深度學習技術】LRN 局部響應歸一化
深度學習的局部響應歸一化LRN(Local Response Normalization)理解

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章