李宏毅機器學習課程筆記-13.5模型壓縮之動態計算

動態計算(Dynamic Computation)就是資源充足時就做到最好,資源不足時就減少運算量、先求有再求好(但也不要太差)。

一種方法是訓練多個從小到大的model,然後選擇合適的模型,這樣的問題是需要存儲很多個model。

另外一種方法是,訓練一個在中間層就可以得到最終結果的model。因爲網絡淺層和深層提取到的特徵一般分別是低級特徵和高級特徵,所以在網絡淺層得到的結果一般要比在網絡深層得到的結果差一些。在網絡淺層就計算最終結果可能會迫使網絡淺層學習一些高級特徵,這會破壞網絡從淺層到深層逐步提取低/高級特徵的架構。那如何處理這些問題呢?可以看一看Multi-Scale Dense Convolutional Networks:https://arxiv.org/abs/1703.09844


Github(github.com):@chouxianyu

Github Pages(github.io):@臭鹹魚

知乎(zhihu.com):@臭鹹魚

博客園(cnblogs.com):@臭鹹魚

B站(bilibili.com):@絕版臭鹹魚

微信公衆號:@臭鹹魚

轉載請註明出處,歡迎討論和交流!


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章