過擬合、欠擬合的原因和解決辦法

偏差和方差

偏差用來描述模型輸出結果的期望和樣本真實結果的差距。
方差用來描述模型對於給定值的輸出穩定性。
具體的可以看下圖：

過擬合指的就是高方差，欠擬合則是高偏差。

過擬合

原因

1. 模型的複雜度（維度）過高。
2. 模型擬合了數據集中的噪聲。
3. 數據集太小，無法瞭解其真實分佈。
4. 模型的迭代次數過多。
   
   

解決辦法

1. 增加訓練數據，做數據增強。
2. 降低模型複雜度。
3. 減少特徵數。
4. 添加正則化約束。
5. 使用BN。
6. 使用DropOut
7. 提前結束訓練。
   
   

欠擬合

原因

模型沒有很好地捕捉到數據特徵，不能很好地擬合數據。

解決辦法

1. 提高模型複雜度。
2. 增加更多的特徵。
3. 降低正則化約束。