深度學習基礎--各種Dropout--Targeted Dropout

更詳細的資料整理到了個人的github上,地址爲
https://github.com/whitenightwu/11-Algorithm_and_Data/02-深度學習(部件)\類dropout

Targeted Dropout

介紹

date:NIPS/NeurIPS 2018
keywords:Targeted Dropout;將剪枝帶到訓練中去;偏向於壓縮算法
author:google brain,Hinton

主要思想

根據一些快速逼近權重重要性的度量對權重或神經元進行排序,並將 Dropout 應用於那些重要性較低的元素。
具體來說,其中模型會對權重矩陣求絕對值,然後在根據 targ_rate 求出要對多少「不重要」的權重做 Dropout,最後只需要對所有權重的絕對值進行排序,並 Mask 掉前面確定具體數量的「不重要」權重。
正則化工具 Targeted Dropout,它可以將事後剪枝策略結合到神經網絡的訓練過程中,且還不會對特定架構的潛在任務性能產生顯著影響。最後 Targeted Dropout 主要的優勢在於簡單和直觀的實現,及靈活的超參數設定。

額,要不是Hinton,估計也沒幾個人看。
整理源於http://www.sohu.com/a/277688850_129720

發佈了479 篇原創文章 · 獲贊 123 · 訪問量 50萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章