评估指标：混淆矩阵、PR、mAP、ROC、AUC

TP、TN、FP、FN

• TP，即 True Positive，预测为正样本，实际也为正样本的特征数。

• TN，即 True Negative，预测为负样本，实际也为负样本的特征数。

• FP，即 False Positive，预测为正样本，实际为负样本的特征数。

• FN，即 False Negative，预测为负样本，实际为正样本的特征数。

准确率 Accuracy 和 错误率 Error rate

• Accuracy 即准确率：

  $Accuracy = \frac{TP+TN} {P+N}$

• Error rate 即错误率（误差）：

  $Error rate= \frac{FP+FN} {P+N}$

• 对某一个实例来说，分对与分错是互斥事件，所以：

  $Accuracy =1 - Error rate$

混淆矩阵 confusion matrix

混淆矩阵（confusion matrix），也被称为错误矩阵（error matrix），是大小为 (n_classes, n_classes) 的方阵。使用混淆矩阵可以清楚地看到分类误差的具体情况。

二分类的混淆矩阵：

多分类的混淆矩阵：

查准率 Precision 和 召回率 Recall

• 查准率指，对于所有预测为阳性的样本，有多大比率是真阳性。

  $\frac{真阳性的数量} {预测值为阳性的数量} = \frac{TP} {TP+ FP}$

  查准率越高就越好。

• 召回率指，对于所有阳性样本，有多大比率被正确预测为阳性。

  $\frac{真阳性的数量} {实际阳性的数量} = \frac{TP} {TP + FN}$

  同样地，召回率越高越好。

• 对于偏斜类，使用查准率和召回率可以更好地评估算法的分类效果。

• A 类目标的 Precision 就是在识别出来所有 A 目标中，识别正确的比率。查准率：找的对。

• A 类目标的 Recall 就是在测试集里所有的 A目标中，识别正确的比率。召回率：找的全。

PR 曲线

• PR 曲线，即 Precision-Recall curve

• 以召回率 Recall 为横轴

• 以查准率 Precision 为纵轴

AP 和 mAP

在目标检测中，检测出来的候选框包含 score 和 bbox，按照 score 降序排序：

• TP 为 IoU > 0.5 的检测框数量（同一个 Ground Truth 只计算一次）。

• FP 为 IoU <= 0.5 的检测框，重复检测到的 bbox 也算FP。

• FN 为没有检测到的 GT 的数量。

• PR 曲线为不同置信度阈值下的查准率和召回率情况。

• AP 为单个类别的检测精度，即 Average Precision，为 PR 曲线下方的面积。

  详见：VOC 2012

  在VOC2010以前，只需要选取当 Recall >= 0, 0.1, 0.2, …, 1 共11个点时的 Precision 最大值，然后AP就是这11个Precision的平均值。

  在 VOC2010 及以后，需要针对每一个不同的 Recall 值（包括0和1），选取其大于等于这些 Recall 值时的 Precision 最大值，然后计算PR曲线下面积作为AP值。

• mAP，即 mean Average Precision，对所有类别的 AP 取平均值

ROC 曲线

• ROC空间，以 FPR 为 X 轴，以 TPR 为 Y 轴。

• 横轴 FPR，即所有实际为阴性的样本中，被错误地判断为阳性之比率：

  $FPR=FP/(FP+TN)$

• 纵轴 TPR，即召回率 Recall，即所有实际为阳性的样本中，被正确地判断为阳性之比率。：

  $TPR=TP/(TP+FN)$

• 完美的预测是一个在左上角的点，在 ROC 空间座标 (0,1)点，X=0 代表着没有伪阳性，Y=1 代表着没有伪阴性（所有的阳性都是真阳性）；也就是说，不管分类器输出结果是阳性或阴性，都是100%正确。

• 一个随机的预测会得到位于从 (0, 0) 到 (1, 1) 对角线（也叫无识别率线）上的一个点。

ROC 曲线下面积 AUC

Area under the Curve of ROC (AUC) ，即 ROC 曲线下方的面积。

在比较不同的分类模型时，可以将每个模型的 ROC 曲线都画出来，比较曲线下面积做为模型优劣的指标：

• AUC = 1，是完美分类器，分类100% 正确。

• 0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

• AUC = 0.5，跟随机猜测一样，模型没有预测价值。

• AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。