想像某種學習算法產生了一個過擬合的分類器，這個分類器能夠百分之百的正確分類樣本數據（即再拿樣本中的文檔來給它，它絕對不會分錯），但也就爲了能夠對樣本完全正確的分類，使得它的構造如此精細複雜，規則如此嚴格，以至於任何與樣本數據稍有不同的文檔它全都認爲不屬於這個類別。
標準定義：給定一個假設空間H，一個假設h屬於H，如果存在其他的假設h’屬於H,使得在訓練樣例上h的錯誤率比h’小，但在整個實例分佈上h’比h的錯誤率小，那麼就說假設h過度擬合訓練數據。 ----《Machine Learning》Tom M.Mitchell