定位準確率
IOU
定位準確率可以通過檢測窗口與我們自己標記的物體窗口的重疊度,即交併比,即Intersection-Over-Union(IOU)進行度量。設標記窗口爲 A ,檢測窗口爲 B ,則 IOU 的計算公式如下:
其中分子部分表示 A 與 B 窗口的重疊部分面積,分母部分表示 A 與 B
窗口的面積總和。顯而易見,IOU 的值在[0,1]之間,同時 IOU 越接近 1
表示兩個窗口重疊部分越多,定位準確度也就越好,反之則越差。
識別精度
算法對樣本進行分類時,都會有置信度,即表示該樣本是正樣本的概率,比如99%的概率認爲樣本A是正例,1%的概率認爲樣本B是正例。通過選擇合適的閾值,比如50%,對樣本進行劃分,概率大於50%的就認爲是正例,小於50%的就是負例。
假設分類目標只有兩類,計爲正例(positive)和負例(negtive)分別是:
1)True positives(TP): 被正確地劃分爲正例的個數,即實際爲正例且被分類器劃分爲正例的實例數(樣本數);
2)False positives(FP): 被錯誤地劃分爲正例的個數,即實際爲負例但被分類器劃分爲正例的實例數;
3)False negatives(FN):被錯誤地劃分爲負例的個數,即實際爲正例但被分類器劃分爲負例的實例數;
4)True negatives(TN): 被正確地劃分爲負例的個數,即實際爲負例且被分類器劃分爲負例的實例數。
預測類別 | ||||
---|---|---|---|---|
YES(Positive) | NO(Negative) | 總計 | ||
實際類別 | YES(Ture) | TP | FN | P(實際爲YES) |
NO(False) | FP | TN | N(實際爲NO) | |
總計 | P’(被分爲YES) | N’被分爲NO | P+N |
precision
precision,即精確率、精度,查準率,計算公式爲:預測爲正實際爲正 / 預測爲正,希望所有的預測中都是正樣本,該值越大越好,1爲理想狀態:
precision=TP/(TP+FP);
recall
recall,即召回率、查全率。計算公式爲:預測爲正實際爲正 / 所有正樣本數,希望拿到全的正樣本,該值越大越好,1爲理想狀態:
Recall=TP/(TP+FN)=TP/P;
accuracy
accuracy,即準確率,所有預測結果與實際結果一樣的樣本/所有樣本:
accuracy=\frac{TP+TN}{TP+TN+FP+FN}
F1-score(F值)
F值 = 正確率 * 召回率 * 2 / (正確率 + 召回率)
爲了解決準確率和召回率衝突問題,引入了F1分數,將precision 和recall合成一個指標,越大越好。
AP
AP, 即 Average Precision即平均精確度。AP通常用於計算平均的檢測精度,用於衡量檢測器在每個類別上的性能好壞。
mAP
mAP,即Mean Average Precision,即平均AP值,是對多個驗證集個體求平均AP值,作爲 object dection中衡量檢測精度的指標。
P-R曲線
P-R曲線,即以precision和recall作爲縱、橫軸座標的二維曲線。越凸越右上方效果越好。通過選取不同閾值時對應的精度和召回率畫出總體趨勢,精度越高,召回越低,當召回達到1時,對應概率分數最低的正樣本,這個時候正樣本數量除以所有大於等於該閾值的樣本數量就是最低的精度值。P-R曲線圍起來的面積就是AP值,面積越大,識別精度也就越高,AP值越高,反之越低。
根據逐個樣本作爲閾值劃分點的方法,可以推敲出,recall值是遞增的(但並非嚴格遞增),隨着閾值越來越小,正例被判別爲正例的越來越多,不會減少。而精確率precision並非遞減,有可能是振盪的,雖然正例被判爲正例的變多,但負例被判爲正例的也變多了,因此precision會振盪,但整體趨勢是下降。一般來說,precision和recall是魚與熊掌的關係,往往召回率越高,準確率越低。
在不考慮預測樣本量爲0的情況下:
如果最前面幾個點都是負例,那麼曲線會從(0,0)點開始逐漸上升,隨着閾值越來越小,precision初始很接近1,recall很接近0,因此有可能從(0,0)上升的線和座標重合,不易區分。
如果最前面幾個點都是正例,那麼曲線會從(0,1)逐漸下降。
曲線最終不會到(1,0)點。很多P-R曲線的終點看着都是(1,0)點,這可能是因爲負例遠遠多於正例。
在目標檢測中,每一類都可以根據 recall 和 precision繪製P-R曲線,AP就是該曲線下的面積,mAP就是所有類AP的平均值。
FP Rate(FPR)
false positive佔整個negative的比例,就是說原本是negative 預測爲positive的比例,越小越好。
TP Rate(TPR):
true positive 佔整個positive 的比例。
AUC
ROC曲線
簡單易於理解的例子
某池塘有1400條鯉魚,300只蝦,300只鱉。現在以捕鯉魚爲目的。撒一大網,逮着了700條鯉魚,200只蝦,100只鱉。那麼,這些指標分別如下:
精確率 = 700 / (700 + 200 + 100) = 70%
召回率 = 700 / 1400 = 50%
F1值 = 70% * 50% * 2 / (70% + 50%) = 58.3%
不妨看看,如果把池子裏的所有的鯉魚、蝦和鱉都一網打盡,這些指標又有何變化:
正確率 = 1400 / (1400 + 300 + 300) = 70%
召回率 = 1400 / 1400 = 100%
F1值 = 70% * 100% * 2 / (70% + 100%) = 82.35%
隨着召回率增大,精度
速度
除了檢測準確度,目標檢測算法的另外一個重要性能指標是速度,只有速度快,才能實現實時檢測,這對一些應用場景極其重要。評估速度的常用指標是每秒幀率(Frame Per Second,FPS),即每秒內可以處理的圖片數量
。
題目
下面有關分類算法的準確率,召回率,F1 值的描述,錯誤的是? C
準確率是檢索出相關文檔數與檢索出的文檔總數的比率,衡量的是檢索系統的查準率 A
召回率是指檢索出的相關文檔數和文檔庫中所有的相關文檔數的比率,衡量的是檢索系統的查全率 B
正確率、召回率和 F 值取值都在0和1之間,數值越接近0,查準率或查全率就越高 C
爲了解決準確率和召回率衝突問題,引入了F1分數 D
參考:
https://blog.csdn.net/b876144622/article/details/80009867
https://blog.csdn.net/linchunmian/article/details/79644300