問題描述:
訓練模型時,遇到:
原因:
內存不夠,OOM即ran out of memory
可以使用top命令動態監聽運行時間非常短的程序的內存使用情況:參考
啓用2個session,一個session運行top
命令,另一個session運行指定的程序,top命令會輸出與這個命令相關的資源使用情況。
解決方法:
最直觀的方式就是減小batch_size或者hidden_layer中的單元數
- 減少批處理Batch 的大小
- 降低全連接層的維度。分析錯誤的位置,在哪一層出現顯卡不夠,比如在全連接層出現的,則降低全連接層的維度,把2048改成1042啥的
- 增加池化層,,降低整個網絡的維度。
- 縮小輸入圖片大小
總結:想進一切辦法降維,降低網絡的維度。
參考1:https://blog.csdn.net/huowa9077/article/details/81042553
參考2:http://www.freesion.com/article/9789162136/