Preventing overfitting
Early stopping
Weight decay
Training with noise
因此，防止過擬合的常用方法有三種：
第一，提前阻止。通過增加評估數據集，及時調整訓練過程中的權重w，使得cost function以最快的速度下降；
第二，權重衰減法。這裏採用的是正則法，通過加入正則項，使得權重及時得到更新，但是這種方法不易操作，因爲正則項該如何選則不容易確定；
第三，無噪聲訓練。其實就是採用ROI法，將目標區域進行分割，使得目標特徵更加明顯，在訓練過程中不會因爲噪聲干擾目標特徵。但這種方法最大的缺點就是比較費事，需要人工的分割，做標記。應用面較窄。