二分類問題模型指標
本文旨在介紹比較在二分類模型中，常用的幾個模型評估指標，包括：準確率，召回率，F1-score，ROC，AUC，MSE等
1.簡單概念
2. 準確率P 召回率R和 F1值
- 準確率（Precision）
P=TP/(TP+FP)。通俗地講，就是預測正確的正例數據佔預測爲正例數據的比例。 - 召回率（Recall）
R=TP/(TP+FN)。通俗地講，就是預測爲正例的數據佔實際爲正例數據的比例 - F1值（F score）
思考
正如下圖所示，F1的值同時受到P、R的影響，單純地追求P、R的提升並沒有太大作用。在實際業務工程中，結合正負樣本比，的確是一件非常有挑戰的事。
3.簡單概念
- a) TPR=TP/(TP+FN)=TP/actual positives-準確率P，通俗地講，就是預測正確的正例數據佔預測爲正例數據的比例。
- b) FPR=FP/(FP+TN)=FP/actual negatives-通俗地講，就是在所有的真實負樣本中，有多少被預測成了正樣本，FPR越小越好。
- c) ROC是由點（FPR，TPR）組成的曲線，AUC就是ROC的面積。AUC越大越好。ROC橫軸是FPR，縱軸是TPR；橫軸是在所有的負樣本中被預測成正樣本的比例，縱軸是在所有的正樣本中，被預測對了的比例。曲線越曲越好。
- d)一般來說，如果ROC是光滑的，那麼基本可以判斷沒有太大的overfitting
4.PRC和ROC比較
AUC是ROC的積分（曲線下面積），是一個數值，一般認爲越大越好，數值相對於曲線而言更容易當做調參的參照。
PR曲線會面臨一個問題，當需要獲得更高recall時，model需要輸出更多的樣本，precision可能會伴隨出現下降/不變/升高，得到的曲線會出現浮動差異（出現鋸齒），無法像ROC一樣保證單調性。在正負樣本分佈得極不均勻(highly skewed datasets)的情況下，PRC比ROC能更有效地反應分類器的好壞。
本Markdown編輯器使用[StackEdit][6]修改而來，用它寫博客，將會帶來全新的體驗哦：
5.Mape平均絕對百分誤差
MAE = 把mse的平方換成絕對值
• 技巧
o 在sklearn中，對於迴歸任務，一般都提供了mse損失函數（基於樹的模型除外）。但有時我們會遇到sklearn中沒有定義的損失函數，那麼我們可以自定重寫模型或者定義函數，下面以xgboost爲模型，mape作爲損失函數爲例（grad、hess分別對應損失函數一階導、二階導）。