Alex-net

 
下一個圖像的通道爲48, 是因爲96個核,分成了兩部分

減少過擬合的方法:
1 數據處理: (1)圖像變換和鏡像旋轉,說明CNN不是抗旋轉的 (2)主成分分析後添加高斯噪聲,因爲圖像的內容豐富度用秩來表示,主成分分析是奇異值分解的另一種形式,某種意義上說來是統一的,而矩陣的所有的特徵空間就是用來表徵矩陣的有效信息的

2 隨機失活(dropout):使得網絡結構動態化的一種辦法,不會依賴某些層

非線性激活函數用了ReLu:
文中提到了max截斷的方法比tanh 和sigmoid函數梯度下降更快

更準確的翻譯 https://zhuanlan.zhihu.com/p/22538465

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章