1、統計學習三要素
除了介紹一些基本概念之外，李航《統計學習方法》第一章的重點是提出了統計學習的三要素，即
方法 = 模型 + 策略 + 算法
更確切地說，統計學習方法包括模型的假設空間、模型選擇的準則以及模型學習的算法。今後在學習任何統計學習方法的時候可以從這三方面着手。
1.4節“模型評估與模型選擇”與1.5節“正則化與交叉驗證”都是對1.3.2節“策略”的補充。
“策略”指的是，既然在選定的模型空間中有很多具體的模型，我們要如何從中選出在測試集上表現最好的模型。書中只考慮監督學習問題，這時我們的目標是選出期望風險（式(1.9)）最小的模型，從式(1.9)可以看出，要計算期望風險，就需要先計算輸入/輸出的聯合分佈，而這個聯合分佈又是不知道的（如果知道了就可以推出條件概率，也就不必“學習”了）。
解決這個“病態問題”的方法是，用經驗風險或結構風險去近似期望風險。經驗風險是模型在訓練集上的平均損失，如果訓練集樣本容量足夠大，根據大數定律，經驗風險對期望風險的近似就足夠好。但是如果訓練集樣本容量不足夠大，仍用經驗風險的話就會過擬合，就要對經驗風險加以矯正，即加上正則項得到結構風險，來近似期望風險。正則項表示模型的複雜度，因此正則化符合奧卡姆剃刀原理。
從貝葉斯估計的角度看，正則化項對應於模型的先驗概率。可以假設複雜的模型有較小的先驗概率，簡單的模型有較大的先驗概率。
另一種解決訓練樣本較少的方法是交叉驗證，交叉驗證是一種重複利用數據的方法。關於交叉驗證，可參考這篇文章 裏的Lecture 2部分。
書中還說，在特定情況下，極大似然估計就是經驗風險最小化的一個例子，最大後驗概率估計就是結構風險最小化的一個例子。前者即習題1.2，我的證明將在下文給出。我在證明後者的過程中遇到了問題（也在下文給出），望本文讀者不吝賜教。
關於“在特定情況下，最大後驗概率估計就是結構風險最小化的一個例子”，可參考這篇知乎專欄 。
2、精確率、召回率、F1 值、ROC、AUC 各自的優缺點是什麼？
可參考52ml的這篇文章 。
