評估指標：混淆矩陣、PR、mAP、ROC、AUC

TP、TN、FP、FN

• TP，即 True Positive，預測爲正樣本，實際也爲正樣本的特徵數。

• TN，即 True Negative，預測爲負樣本，實際也爲負樣本的特徵數。

• FP，即 False Positive，預測爲正樣本，實際爲負樣本的特徵數。

• FN，即 False Negative，預測爲負樣本，實際爲正樣本的特徵數。

準確率 Accuracy 和 錯誤率 Error rate

• Accuracy 即準確率：

  $Accuracy = \frac{TP+TN} {P+N}$

• Error rate 即錯誤率（誤差）：

  $Error rate= \frac{FP+FN} {P+N}$

• 對某一個實例來說，分對與分錯是互斥事件，所以：

  $Accuracy =1 - Error rate$

混淆矩陣 confusion matrix

混淆矩陣（confusion matrix），也被稱爲錯誤矩陣（error matrix），是大小爲 (n_classes, n_classes) 的方陣。使用混淆矩陣可以清楚地看到分類誤差的具體情況。

二分類的混淆矩陣：

多分類的混淆矩陣：

查準率 Precision 和 召回率 Recall

• 查準率指，對於所有預測爲陽性的樣本，有多大比率是真陽性。

  $\frac{真陽性的數量} {預測值爲陽性的數量} = \frac{TP} {TP+ FP}$

  查準率越高就越好。

• 召回率指，對於所有陽性樣本，有多大比率被正確預測爲陽性。

  $\frac{真陽性的數量} {實際陽性的數量} = \frac{TP} {TP + FN}$

  同樣地，召回率越高越好。

• 對於偏斜類，使用查準率和召回率可以更好地評估算法的分類效果。

• A 類目標的 Precision 就是在識別出來所有 A 目標中，識別正確的比率。查準率：找的對。

• A 類目標的 Recall 就是在測試集裏所有的 A目標中，識別正確的比率。召回率：找的全。

PR 曲線

• PR 曲線，即 Precision-Recall curve

• 以召回率 Recall 爲橫軸

• 以查準率 Precision 爲縱軸

AP 和 mAP

在目標檢測中，檢測出來的候選框包含 score 和 bbox，按照 score 降序排序：

• TP 爲 IoU > 0.5 的檢測框數量（同一個 Ground Truth 只計算一次）。

• FP 爲 IoU <= 0.5 的檢測框，重複檢測到的 bbox 也算FP。

• FN 爲沒有檢測到的 GT 的數量。

• PR 曲線爲不同置信度閾值下的查準率和召回率情況。

• AP 爲單個類別的檢測精度，即 Average Precision，爲 PR 曲線下方的面積。

  詳見：VOC 2012

  在VOC2010以前，只需要選取當 Recall >= 0, 0.1, 0.2, …, 1 共11個點時的 Precision 最大值，然後AP就是這11個Precision的平均值。

  在 VOC2010 及以後，需要針對每一個不同的 Recall 值（包括0和1），選取其大於等於這些 Recall 值時的 Precision 最大值，然後計算PR曲線下面積作爲AP值。

• mAP，即 mean Average Precision，對所有類別的 AP 取平均值

ROC 曲線

• ROC空間，以 FPR 爲 X 軸，以 TPR 爲 Y 軸。

• 橫軸 FPR，即所有實際爲陰性的樣本中，被錯誤地判斷爲陽性之比率：

  $FPR=FP/(FP+TN)$

• 縱軸 TPR，即召回率 Recall，即所有實際爲陽性的樣本中，被正確地判斷爲陽性之比率。：

  $TPR=TP/(TP+FN)$

• 完美的預測是一個在左上角的點，在 ROC 空間座標 (0,1)點，X=0 代表着沒有僞陽性，Y=1 代表着沒有僞陰性（所有的陽性都是真陽性）；也就是說，不管分類器輸出結果是陽性或陰性，都是100%正確。

• 一個隨機的預測會得到位於從 (0, 0) 到 (1, 1) 對角線（也叫無識別率線）上的一個點。

ROC 曲線下面積 AUC

Area under the Curve of ROC (AUC) ，即 ROC 曲線下方的面積。

在比較不同的分類模型時，可以將每個模型的 ROC 曲線都畫出來，比較曲線下面積做爲模型優劣的指標：

• AUC = 1，是完美分類器，分類100% 正確。

• 0.5 < AUC < 1，優於隨機猜測。這個分類器（模型）妥善設定閾值的話，能有預測價值。

• AUC = 0.5，跟隨機猜測一樣，模型沒有預測價值。

• AUC < 0.5，比隨機猜測還差；但只要總是反預測而行，就優於隨機猜測。