深度學習訓練過程中的問題&解決

初始學習率設定

可以從0.0001到0.1每次擴大10倍試驗，直到驗證集上的loss增大。
一般0.01-0.1左右

樣本不平衡問題

解決方式

1. 採樣層面
   過採樣&降採樣

• 基礎版本的過採樣：隨機過採樣訓練樣本中數量比較少的數據；缺點，容易過擬合；
• 改進版本的過採樣：SMOTE，通過插值的方式加入近鄰的數據點；
• 神經網絡中的過採樣：SGD訓練時，保證每個batch內部樣本均衡。

2. 改變loss 權重
   　代表工作:focal loss，正負樣本分別賦予不同的權重
3. 當作異常檢測任務處理