理解準確率和召回率

1 混淆矩陣解釋

2 召回率和準確率定義

$召回率(Recall)=\frac{系統檢索到的相關文件}{系統所有相關的文件總數}=\frac{正確預測爲狗的個數}{系統真實是狗的個數}$

$準確率(Precision)= \frac{系統檢索到的相關文件}{系統所有檢索到的文件總數}=\frac{正確預測爲狗的個數}{預測模型預測爲狗的個數}$

$F= \frac{2PR}{P+R}$
數理統計中的準確率(Precision)是我們傳統理解的準確率。是站在預測模型本身角度講的。召回率是站在系統原始本身個數角度來講的。

3 混淆矩陣

假如某個班級有男生80人,女生20人,共計100人.目標是找出所有女生.現在某人挑選出50個人,其中20人是女生,另外還錯誤的把30個男生也當作女生挑選出來了.作爲評估者的你需要來評估(evaluation)下他的工作。

場景——班級有男的和女的兩類，某人(也就是定義中所說的分類器)他又把班級中的人分爲男女兩類

準確率(accuracy),其定義是: 對於給定的測試數據集，分類器正確分類的樣本數與總樣本數之比

混淆矩陣：

	女	男
女	20	0
男	30	50

【注意】混淆矩陣的每一列代表了預測類別，每一列的總數表示預測爲該類別的數據的數目，每一行代表了數據的真實歸屬類別，每一行的數據總數表示該類別的數據實例的數目。

		預測類別	預測類別
		女	男	總計	類別召回率
真實類別	女	20	0	20	100%
真實類別	男	30	50	80	62.5%
	總計	50	50	100
	類別準確率	40%	100%		模型準確率=70/100=70%

他把其中70(20女+50男==對角線)人判定正確了,而總人數是100人，所以總的的模型準確率accuracy=70/100 = 0.7

【解釋】假設抓想抓女的，女的全抓來和抓對了，女的召回率則滿分，雖然你抓女的都全抓了，但是你還把一部分男的抓成女的了，那抓女的準確率就沒有是100%了。

Reference

[1] 準確率與召回率