我們制定策略就是在制定評價準則，那麼什麼樣的評價準則才能很好的表現模型的好壞呢？當進行圖片分類任務時，已知的是圖片X和圖片所屬的類別Y，選擇模型f進行預測f(X),我們期望的是Y和f(X)的差別很小，這個差別稱爲損失，學習的目標就是選擇期望損失最小的模型。期望損失是定義在X,Y的聯合分佈上的，而聯合分佈是未知的，所以期望損失無法求得。根據大數定律，我們知道當訓練樣本足夠多時，經驗損失是趨於期望損失的，所以當樣本足夠多時，學習的目標可以轉爲選擇經驗誤差最小的模型。但是現實中又不可能獲得足夠多的樣本，所以當樣本不足時，如果還是按照上面的方式求出經驗誤差最小的模型就可能會得到很差的模型，產生過擬合現象。
我們先來分析爲什麼在樣本不足時產生了過擬合現象？因爲數據量不足時經驗誤差不再趨於期望誤差，也就說明經驗誤差已經不能很好的反映期望誤差了，所以此時就需要對經驗誤差的定義進行修改，來儘可能地彌補因爲樣本量不足而造成的這一問題。修改經驗誤差的定義，也就是修改模型的評價準則，但是爲什麼修改評價準則會有效果呢？從哲學上講，規律具有普遍性和特殊性，當樣本不足時學習到的可能就是特殊規律，拿着特殊規律去預測數據就得不到很好的效果，又由於普遍規律存在於特殊規律之中，並通過特殊規律表現出來，所以可以通過修正獲得規律的方法來儘可能地使獲得的特殊規律趨於普遍規律。如何修改評價準則呢？定義 結構風險=經驗風險+正則化項，在出現過擬合時，就可以通過最優化結構風險來學習到最優的模型了。