更詳細的資料整理到了個人的github上,地址爲
https://github.com/whitenightwu/11-Algorithm_and_Data/02-深度學習(部件)\類dropout
Targeted Dropout
介紹
date:NIPS/NeurIPS 2018
keywords:Targeted Dropout;將剪枝帶到訓練中去;偏向於壓縮算法
author:google brain,Hinton
主要思想
根據一些快速逼近權重重要性的度量對權重或神經元進行排序,並將 Dropout 應用於那些重要性較低的元素。
具體來說,其中模型會對權重矩陣求絕對值,然後在根據 targ_rate 求出要對多少「不重要」的權重做 Dropout,最後只需要對所有權重的絕對值進行排序,並 Mask 掉前面確定具體數量的「不重要」權重。
正則化工具 Targeted Dropout,它可以將事後剪枝策略結合到神經網絡的訓練過程中,且還不會對特定架構的潛在任務性能產生顯著影響。最後 Targeted Dropout 主要的優勢在於簡單和直觀的實現,及靈活的超參數設定。
額,要不是Hinton,估計也沒幾個人看。
整理源於http://www.sohu.com/a/277688850_129720