过拟合、欠拟合的原因和解决办法

偏差和方差

偏差用来描述模型输出结果的期望和样本真实结果的差距。
方差用来描述模型对于给定值的输出稳定性。
具体的可以看下图：

过拟合指的就是高方差，欠拟合则是高偏差。

过拟合

原因

1. 模型的复杂度（维度）过高。
2. 模型拟合了数据集中的噪声。
3. 数据集太小，无法了解其真实分布。
4. 模型的迭代次数过多。
   
   

解决办法

1. 增加训练数据，做数据增强。
2. 降低模型复杂度。
3. 减少特征数。
4. 添加正则化约束。
5. 使用BN。
6. 使用DropOut
7. 提前结束训练。
   
   

欠拟合

原因

模型没有很好地捕捉到数据特征，不能很好地拟合数据。

解决办法

1. 提高模型复杂度。
2. 增加更多的特征。
3. 降低正则化约束。