機器學習筆記--模型評估與選擇

經驗誤差與過擬合

錯誤率：m個樣本中有a個樣本分類錯誤：a/m.
精度：(1−a/m)∗100%
誤差：實際預測輸出與樣本真實輸出之間的差異

• 訓練集上：訓練誤差（training error）
• 新樣本上：泛化誤差（generalization error）
  過擬合：學習性能太好，把樣本本身獨有的特點學到，NPhard問題，難解決。
  欠擬合：學習性能不好。

評估方法

留出法

把數據集D分爲兩個互補的集合S和T。S用來訓練模型，T用來評估測試誤差。
注意：

1. 訓練/測試集劃分儘量保持數據分佈的一致性。
2. 及時在給定訓練/測試集的樣本比例後，任存在許多劃分方式
3. 一般取若干次隨機劃分，重複進行實驗評估後取平均值作爲留出法結果。

交叉驗證法

D劃分爲K個互不相交的集合Di ，用k-1個子集作爲訓練集，這樣就有K組訓練/測試集，最後取k組結果平均值（k-fold cross validation）

k一般取10，稱爲10折交叉驗證.

重複做p次，則有p次k折交叉驗證。

留一法：k=m.結果往往認爲比較準確，但計算開銷大（m個樣本，則要訓練m個模型）

自助法

D中採樣，選取一個樣本拷貝到D’中，然後再把這個樣本放回D中。重複m次，得到D’.用D’作爲訓練集，用D/D’作爲測試集。

這裏，由於D中一個樣本始終不被採到的概率爲：

(1−1/m)m,

趨近於1/e ,約等於0.368.這就是說，D中大概有36.8%的樣本不在D’中。

優點：

• D較小時，難以劃分S/T時很有用
• 能從D中產生多個不同的S對集成學習有很大好處

缺點：

• 改變了初始數據集的分佈，引入了估計偏差

調參與最終模型

模型選擇完成後重新訓練整個D得到最終模型

性能度量

學習期結果f(x) 與真是標記對比
均方誤差：迴歸任務中，均方誤差表示爲

E(f;D)=1/m∑i=1m(f(xi)−yi)2

對於數據分佈D 和概率密度函數p(.) :
待續

比較檢驗

偏差與方差