Machine Learning -- 模型評估和選擇

原創

2019-02-23 19:11

歸納和演繹是科學推理的兩大基本手段。

歸納是從特殊到一般的“泛化”過程，即從具體的事實歸結出一般性規律。

演繹是從一般到特殊的“特化”過程，即從基礎原理推演出具體情況。

“奧卡姆剃刀”（Occam's razor）是一種常用的、自然科學研究中最基本的原則，即“若有多個假設與觀察一致，則選最簡單的那個”。

學習器在訓練集上的誤差稱爲訓練誤差（training error）或經驗誤差（empirical error），在新樣本上的誤差稱爲泛化誤差（generalization error）。

當學習器吧訓練樣本學得“太好”的時候，很可能已經把訓練樣本自身的一些特點當作了所有潛在樣本都會具有的一般性質，這樣就會導致泛化性能下降。-----------即出現了過擬合現象。

與過擬合對應得是欠擬合，是指對訓練樣本的一般性質尚未學好。

欠擬合相對較容易克服，例如在決策樹學習中擴展分支、在神經網絡中增加訓練輪數等，而過擬合則很麻煩。

過擬合是無法避免的，只能緩解或者說減小其風險。

（1）留出法

（2）交叉驗證法

（3）自助法

（1）錯誤率和精度

錯誤率是分類錯誤的樣本數佔樣本總數的比例。

精度是分類正確的樣本數佔樣本總數的比例。

（2）查準率、查全率與F1

$P=\frac{TP}{TP+FP}$

$R=\frac{TP}{TP+FN}$

注：P爲查準率（或準確率），R爲查全率（或召回率）。

$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{N+TP-TN}$

其中N表示樣本總數。

$F_{\beta }=\frac{\left ( 1+\beta ^{2} \right )\times P\times R}{\left ( \beta ^{2}\times P \right )+R}$

對於 $\beta$ ，大於1查全率有更大影響，小於1查準率有更大影響。

（3）ROC與AUC等

注：來源於周志華的《機器學習》

發表評論

所有評論

還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.