模型误差的来源

误差有两个方面：bias和variance。
简单的模型（如线性模型），variance比较小，且不容易受样品数据影响，不易过拟合。与此相反，复杂的模型的bias比较小。
如果你的模型都不能拟合训练数据，训练error比较大，说明模型欠拟合。这种情况下，需要重新设计你的模型，可能包括增加更多的特征或增加模型的复杂度。
如果你在训练集上可以得到很小的error，但在test集上却error很大，说明模型过拟合导致方差很大。在variance很大的情况下，有三种改进的方法：增大训练集、正则化、dropout。增大训练集可以同时降低bias和variance。数据集可能可以用各种方法人工产生。另一种方法是正则化，正则化有可能会伤害bias。