【機器學習】《機器學習》周志華西瓜書習題參考答案：第2章 - 模型評估與選擇

專欄【機器學習】

【機器學習】《機器學習》周志華西瓜書筆記/習題答案總目錄

https://blog.csdn.net/TeFuirnever/article/details/96178919

——————————————————————————————————————————————————————

習題

按照題意，訓練集包含700個樣本，測試集包含300個樣本。並且爲了保證訓練集和測試集的類別比例一致，使用分層採樣，訓練集包含正例反例各350個；測試集包含正例反例個150個。

有多少種劃分方式是一個排列組合問題，等於從500個正例中挑選出350個的所有可能組合乘上從500個正例中挑選出350個的所有可能組合。

根據簡單的數學排列組合性質 $\binom{500}{350} \times \binom{500}{350} = \binom{500}{150} \times \binom{500}{150}$ ，

所以可能取法應該是 $n=C_{500}^{350} \times C_{500}^{350}$ 或者 $n=C_{500}^{150} \times C_{500}^{150}$ 。

10折交叉驗證法：通過分層採樣獲得10個互斥子集，每個子集包含10個樣本，正反例各5個。每次取其中9個子集做訓練，1個子集做測試。因爲在訓練集中兩個類別數目相當（都爲 $9*5=45$ 個），所以只能進行隨機猜測，錯誤率爲50%。
留一法：每次取一個樣本做測試，若取出的樣本爲正例，那麼剩下的訓練集中有50個反例，49個正例，因此預測結果爲反例，反之亦然。故錯誤率爲100%。（題中說了假定學習算法所產生的模型是將新樣本預測爲訓練樣本數較多的類別）

先看看F1值的定義，

$F1 = (2 * P * R) / (P + R)$ ，其中 $P = TP / (TP + FP)$ 即查準率（Precision），【預測爲正例且真實爲正例的數量】/【預測爲正例的數量】，說白了關心預測爲正樣本時的準確率； $R = TP / (TP + FN)$ 即查全率（又稱召回率Recall），【預測爲正例且真實爲正例的數量】/【真實爲正例的數量】。

F1值計算中對查準率和查全率都同等重視。

再看看BEP值

首先目前很多分類算法輸出的都是0-1之間的一個概率值，比如邏輯迴歸、XGBoost等，分類時的做法是預定一個閾值（典型爲0.5），若對樣本的輸出大於此閾值則歸爲1類（即正例），那麼根據樣本的輸出值從大到小排序（下文簡稱爲“樣本的排序”），排在最前面的即可理解爲最有可能爲正例的樣本，而排在最後的是最不可能爲正例的樣本。從前往後，逐個將樣本預測爲正例（即把當前樣本的輸出值定於爲閾值，小於閾值的都爲反例），每次計算當前的查準率和查全率，即可得到查全率爲橫座標查準率爲縱座標上的一個點，在將所有點按順利連接後即可得到“P-R曲線”，而BEP（即Break-Event Point，平衡點）是在查全率=查準率時的取值。

討論：

從定義上看，F1值是在閾值固定時，將所有樣本分類完成後，綜合查全率和查準率得出的值；而BEP值則是尋求一個閾值使得查全率和查準率相同的情況下得到的（此時BEP = 查全率 = 查準率）。

也就是說BEP值和“樣本的排序”緊密相關的，而和樣本的預測值大小無關，同樣的排序，即使將所有預測值同時乘以 0.5 ，其BEP值也是相同的；但是對於F1值，所有樣本都將預測爲負例（假定閾值爲0.5時），此時F1值爲0。

回到題目本身，“若學習器A的F1值比學習器B高，則A的BEP值比B高”，那麼若能找到兩個學習器BEP值相同，而F1值不同，則題目命題就不成立了。那從上面的討論中已經有了答案了，想象一下學習器A對樣本輸出值均爲學習器B的兩倍，兩者BEP值是相同的，A的輸出在（0,1）之間，而B的輸出在（0,0.5）之間，此時B的 F1 值爲0，A的 F1 值是在0-1之間。所以原命題不成立。

ps.個人從直覺上BEP值和F1值是沒有明確關係的，在討論過程中拿“輸出值乘以0.5”爲例，事實上，想象一下，一串固定排序的點(模型的輸出概率值)，只在0-1之間同時前進或者後退（每個點前進步長可以不一樣，但是排序不變），其BEP值也不會發生變化，而F1值是不斷變化的。