1、dropout是什麼
深度學習領域大神Hinton，在2012年文獻：《Improving neural networks by preventing co-adaptation of feature detectors》提出了，在每次訓練的時候，讓一半的特徵檢測器停過工作，這樣可以提高網絡的泛化能力，Hinton又把它稱之爲dropout。 Dropout用網絡訓練時工作變化來定義的話，是指在模型訓練時隨機讓某些神經單元的權重停止本次更新，等下次訓練時就有可能更新，對於一層中每個神經單元來說，它們更新的概率是相同的。Dropout說的簡單一點就是我們讓在前向傳導的時候，讓某個神經元的激活值以一定的概率p，讓其停止工作，示意圖如下：
2、dopout的作用
在hinton的論文Improving neural networks by preventing coadaptation提出的，主要作用就是爲了防止模型過擬合。當模型參數較多，訓練數據較少時候，根據線性代數相關知識可以知道，當前模型可以非常完美的擬合我們的曲線。但該模型對測試數據集可能就沒有很好的表現了，也就是說訓練出的模型泛化能力很弱，我們稱之爲過擬合。從文章題目通過阻止特徵檢測器的共同作用來提高神經網絡的性能可以看出，網絡在提取訓練集特徵時，捨棄掉了一部分特徵來提高網絡的泛化能力。
3、導致的結果
模型泛化能力增強，測試時候 錯誤個數減少
訓練階段存在波動現象，導致結果不是很穩定
訓練時間延長，測試時間無影響