機器學習模型評價指標總結

評價	指標	介紹
分類模型	準確率	Accuracy=N（correct）/N(total) 準確率評價沒有對不同類別進行區分。 此外，數據分佈不平衡，即有的類別下樣本過多，有的類別下樣本少，兩個類個數相差較大，這樣樣本佔大部分的類別主導了準確率的計算。
	平均準確率	舉例，類別0的準確率爲80%，類別1下的準確率爲97.5%，那麼平均準確率爲(80%+97.5%)/2=88.75%
	對數損失函數（log-loss）
	精確率-召回率（Precision-Recall）	精確率(Precision)：分類正確的正樣本個數佔分類器所有預測爲正樣本的個數的比例； 召回率(Recall)：分類正確的正樣本個數佔全部實際正樣本個數的比例。
	AUC（ROC曲線下面積）	ROC曲線的x軸便是FPR，y軸便是TPR。
	混淆矩陣（Confusion Matrix）	由混淆矩陣可以計算以下評價指標: 1.準確率（Accuracy）：分類正確的樣本數佔所有樣本數的比例   2. 平均準確率(Average per-class accuracy)：每個類別下的準確率的算術平均   3.精確率(Precision)：分類正確的正樣本個數佔分類器所有預測爲正樣本的個數的比例   4.召回率(Recall)：分類正確的正樣本個數佔全部實際正樣本個數的比例   5.F1-Score：精確率與召回率的調和平均值，它的值更接近於Precision與Recall中較小的值   6.ROC曲線：ROC曲線的x軸便是FPR，y軸便是TPR。
迴歸模型	平方根誤差（RMSE）	RMSE雖然廣爲使用，但是其存在一些缺點，因爲它是使用平均誤差，而平均值對異常點（outliers）較敏感，如果迴歸器對某個點的迴歸值很不理性，那麼它的誤差則較大，從而會對RMSE的值有較大影響，即平均值是非魯棒的。
	Quantiles of Errors	爲了改進RMSE的缺點，提高評價指標的魯棒性，使用誤差的分位數來代替，如中位數來代替平均數。 假設100個數，最大的數再怎麼改變，中位數也不會變，因此其對異常點具有魯棒性。在現實數據中，往往會存在異常點，並且模型可能對異常點擬合得並不好，因此提高評價指標的魯棒性至關重要，於是可以使用中位數來替代平均數，如MAPE。
	Almost Correct Predictions
排序評價指標	精確率-召回率（Precision-Recall）
	Precision-Recall Curve 和 F1 Score
	NDCG