機器學習（西瓜書）註解：第2章 模型評估與選擇
本次更新第2章，模型評估與選擇。針對該章註解有任何問題歡迎在此留言~
對於本章內容來說，一般需要懂的很容易懂，一般看不懂的也不需要懂。
需要懂且很容易懂的包括錯誤率（和精度）、過擬合、欠擬合的概念，以及2.2節介紹的評估方法。
接下來的內容，比如對於做信息檢索的人來說，需要懂的查準率和查全率其實也很容易懂，只是當把查準率、查全率、真正例率、假正例率、真反例率、假反例率等放到一起時可能就有點懵了，其實理解這些概念的含義就容易區分了。
查準率就是預測爲正例的樣本中有多大比例預測正確了，查全率就是數據集中的正例有多少比例被預測爲正例（即正例中預測正確的比例），真正例率就是查全率，假正例率就是數據集中的反例有多少比例被預測爲正例（即反例中預測錯誤的比例），真反例率就是數據集中的反例有多少比例被預測爲反例（即反例中預測正確的比例），假反例率就是數據集中的正例有多少比例被預測爲反例（即正例中預測錯誤的比例）。
不同於以上分類指標（必須得到0/1這樣的二值預測結果才能計算），AUC是排序指標（預測結果需要爲類似於概率預測值時才能計算，概率預測值再配以一個門限，就得到了0/1二值預測），表示從數據集中任取一對正例和反例，正例預測值大於反例預測值的概率。
F1與錯誤率、AUC等指標的側重有所不同，例如對於類別不平衡問題（第3.6節）F1指標相比於錯誤率、AUC可能更有參考意義。有時會發現自己的算法在錯誤率（第2.3.1節）等分類指標和AUC（第2.3.3節）等排序指標上都很好，唯獨在F1上的結果不盡如人意，原因可能與此有關。
代價曲線與ROC曲線緊密相關，代價曲線的作者在論文中也反覆與ROC做對比，若真想理解代價曲線，還是把原論文仔細讀一讀吧。代價曲線2006年發表在MLJ上，相對於教材來說應該屬於新內容了吧。從這一點可以看出學術大牛寫的教材和普通人寫的教材還是有本質區別的：一般人寫教材通常就是找幾本經典教材，然後根據大綱要求的授課內容合理選擇保留哪些知識點、按自己講課思路調整一下內容順序，然後對內容換一種表達方法，增刪一些習題，好一些的還會加一點自己的理解，當然很多時候添加的理解還可能是對知識點的過擬合；而學術大牛寫教材可以把這個學科前沿研究中沉澱下來的經典內容逐步放到教材中；所以，真正的教學與科研相結合是需要真才實料的。另外，同樣是寫了一本書，編、編著、著那是真的有本質區別的。
比較檢驗基於概率論與數理統計課程（其實是數理統計部分）中的假設檢驗，2.4.1節通過一個具體的學習器泛化錯誤率的例子說明什麼是假設檢驗；式(2.27)有筆誤（截止到2018年12月第30次印刷），若讀者對假設檢驗概念理解很深的話倒也很容易看出來，但若本就對假設檢驗理解不透徹，很容易陷入思維誤區；其實核心問題就是要知道，假設檢驗中的置信度1-α是指，在待檢驗的假設成立的條件下，觀測變量在臨界值範圍內的後驗概率（一定注意這裏是後驗概率，而不是似然概率）。然後接下來介紹的幾種檢驗在論文中都可以見到；本節內容會用就好，不要對每個公式都刨根問底兒，有時不求甚解也並沒有什麼壞處。
偏差方差分解重在理解其含義，實際中你又不能真地把偏差和方差求出來，能夠大概判斷什麼時候模型過擬合了（可能需要繼續收集更多的數據），什麼時候模型欠擬合（應該使用更復雜的模型），也就夠了。
（網盤鏈接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w）
第 2 章目錄
第 2 章 模型評估與選擇.................................................................................................................1
2.1 經驗誤差與過擬合............................................................................................................1
2.2 評估方法............................................................................................................................2
1、留出法的 Matlab 實現 ...............................................................................................2
2、交叉驗證法的 Matlab 實現 .......................................................................................2
3、自助法的 Matlab 實現 ...............................................................................................4
4、算法參數（超參數）與模型參數.............................................................................4
5、訓練集/測試集/驗證集...............................................................................................4
2.3 性能度量............................................................................................................................5
1、式(2.2)到式(2.7)的解釋（數據分佈） ......................................................................5
2、查準率和查全率(召回率) ..........................................................................................6
3、圖 2.3 的 Matlab 繪製 ................................................................................................6
4、式(2.10)的解釋...........................................................................................................7
5、式(2.12)到式(2.17)的解釋 .........................................................................................7
6、式(2.18)和式(2.19)的解釋 .........................................................................................8
7、圖 2.4 中的 ROC 曲線解釋........................................................................................8
8、式(2.20)的推導...........................................................................................................9
9、式(2.21)和式(2.22)的推導 .......................................................................................10
10、 ROC 與 AUC 的再解釋 .........................................................................................12
11、式(2.23)的解釋 .......................................................................................................14
12、式(2.24)的解釋 .......................................................................................................14
13、式(2.25)的解釋 .......................................................................................................15
14、圖 2.5 的解釋..........................................................................................................16
15、 ROC 曲線與代價曲線的比較................................................................................17
2.4 比較檢驗..........................................................................................................................20
1、式(2.26)的解釋.........................................................................................................21
2、圖 2.6 的 Matlab 繪製 ..............................................................................................21
3、式(2.27)的解釋.........................................................................................................22
3、式(2.28)到式(2.28)及圖 2.7 的解釋.........................................................................23
4、式(2.31)的解釋.........................................................................................................23
5、列聯表(contingency table)的解釋............................................................................24
6、 Friedman 檢驗與 Nemenyi 後續檢驗的解釋..........................................................24
7、 Friedman 檢驗 Matlab 實現 .....................................................................................25
8、圖 2.8 的 Matlab 繪製 ..............................................................................................26
2.5 偏差與方差......................................................................................................................27
1、數據集中的標記與真實標記...................................................................................27
2、式(2.37)到式(2.42)的推導 .......................................................................................27
3、圖 2.9 的解釋............................................................................................................29
2.6 本章小節..........................................................................................................................29