模型誤差的來源

誤差有兩個方面：bias和variance。
簡單的模型（如線性模型），variance比較小，且不容易受樣品數據影響，不易過擬合。與此相反，複雜的模型的bias比較小。
如果你的模型都不能擬合訓練數據，訓練error比較大，說明模型欠擬合。這種情況下，需要重新設計你的模型，可能包括增加更多的特徵或增加模型的複雜度。
如果你在訓練集上可以得到很小的error，但在test集上卻error很大，說明模型過擬合導致方差很大。在variance很大的情況下，有三種改進的方法：增大訓練集、正則化、dropout。增大訓練集可以同時降低bias和variance。數據集可能可以用各種方法人工產生。另一種方法是正則化，正則化有可能會傷害bias。