防止過擬合和欠擬合的方法

防止過擬合

1. Early stop。增加驗證集，驗證集性能沒有明顯提升的時候停止。
2. 增大數據集。常見的是增加一些噪聲構造新樣本，重採樣，從源頭採集，以及分析數據分佈構造更多假數據。
3. 正則化。爲了降低模型複雜度，避免過分擬合訓練數據，包括噪聲和異常點。
4. dropout。隨機丟棄一些神經元，避免過度賴某些數據特徵。

防止欠擬合

1. 添加其他特徵
2. 添加多項式特徵組合
3. 減少正則化參數