分類問題統計指標入門:混淆矩陣、召回、誤檢率、AUROC

AUC :曲線下面積(Area Under the Curve)

AUROC :接受者操作特徵曲線下面積(Area Under the Receiver Operating Characteristic curve)

大多數時候,AUC都是指AUROC,這是一個不好的做法,正如Marc Claesen指出的那樣,AUC有歧義(可能是任何曲線),而AUROC沒有歧義。

AUROC解釋

AUROC有一些等價的解釋:

均勻抽取的隨機陽性樣本排名在均勻抽取的隨機陰性樣本之前的期望

陽性樣本排名在均勻抽取的隨機陰性樣本之前的期望比例

若排名在一個隨機抽取的隨機陰性樣本前分割,期望的真陽性率

陰性樣本排名在均勻抽取的隨機陽性樣本之後和期望比例

若排名在一個均勻抽取的隨機陽性樣本後分割,期望的假陽性率

更多閱讀:如何推導AUROC的概率解釋(https://stats.stackexchange.com/questions/180638/how-to-derive-the-probabilistic-interpretation-of-the-auc/277721#277721

AUROC計算

假設我們有一個概率二元分類器,比如邏輯迴歸。

在討論ROC曲線(接受者操作特徵曲線)之前,我們需要理解混淆矩陣(confusion matrix)的概念。一個二元預測可能有4個結果:

我們預測0,而真實類別是0:這被稱爲真陰性(True Negative),即,我們正確預測類別爲陰性(0)。比如,殺毒軟件沒有將一個無害的文件識別爲病毒。

我們預測0,而真實類別是1:這被稱爲假陰性(False Negative),即,我們錯誤預測類別爲陰性(0)。比如,殺毒軟件沒有識別出一個病毒。

我們預測1,而真實類別是0:這被稱爲假陽性(False Positive),即,我們錯誤預測類別爲陽性(1)。比如,殺毒軟件將一個無害的文件識別爲病毒。

我們預測1,而真實類別是1:這被稱爲真陽性(True Positive),即,我們正確預測類別爲陽性(1)。比如,殺毒軟件正確地識別出一個病毒。

我們統計模型做出的預測,數一下這四種結果各自出現了多少次,可以得到混淆矩陣:

這裏寫圖片描述
在上面的混淆矩陣示例中,在分類的50個數據點中,45個分類正確,5個分類錯誤。

當比較兩個不同模型的時候,使用單一指標常常比使用多個指標更方便,下面我們基於混淆矩陣計算兩個指標,之後我們會將這兩個指標組合成一個:

真陽性率(TPR),即,靈敏度、命中率、召回,定義爲TP/(TP+FN)。從直覺上說,這一指標對應被正確識別爲陽性的陽性數據點佔所有陽性數據點的比例。換句話說,TPR越高,我們遺漏的陽性數據點就越少。

假陽性率(FPR),即,誤檢率,定義爲FP/(FP+TN)。從直覺上說,這一指標對應被誤認爲陽性的陰性數據點佔所有陰性數據點的比例。換句話說,FPR越高,我們錯誤分類的陰性數據點就越多。

爲了將FPR和TPR組合成一個指標,我們首先基於不同的閾值(例如:0.00; 0.01, 0.02, …, 1.00)計算前兩個指標的邏輯迴歸,接着將它們繪製爲一個圖像,其中FPR值爲橫軸,TPR值爲縱軸。得到的曲線爲ROC曲線,我們考慮的指標是該曲線的AUC,稱爲AUROC。

下圖展示了AUROC的圖像:

這裏寫圖片描述

在上圖中,藍色區域對應接受者操作特徵曲線(AUROC)。對角虛線爲隨機預測器的ROC曲線:AUROC爲0.5. 隨機預測器通常用作基線,以檢驗模型是否有用。

還有一篇博客也寫的非常好:
https://www.cnblogs.com/sddai/p/5696870.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章