簡介
常見的分類模型評判指標：
- 混淆矩陣（Confusion Maxtrix）
- ROC曲線
- AUC面積
混淆矩陣
混淆矩陣的定義
混淆矩陣就是分別統計分類模型預測正類、錯類的個數，然後把結果放在一張表格中表示出來
以二分類問題爲例，我們的模型最終要判樣本的結果是0 或者1，也可以說是正例（positive）或者反例（negative）
從樣本數據中能夠直接知道真實情況下，哪些數據結果是positive，哪些結果是negative。同時，我們通過用樣本數據跑出分類型模型的結果，也可以知道模型認爲這些數據哪些是positive，哪些是negative。
因此，我們可以得到四個指標
- 真實值是positive，模型預測也是positive的數量，即爲真正類（True Positive TP）
- 真實值是positive，模型預測爲negative的數量，即爲假負類（False Negative FN）
- 真實值是negative，模型預測也是negative的數量，即爲真負類（True Negative TN）
- 真實值是negative，模型預測爲positive的數量，即爲假正類（False Positive FP）
TP: 正確肯定的數目
FN: 漏報的數目
FP: 誤報
TN: 正確拒絕非匹配的數據
TP+FN+TN+FP = 總的樣本數量，其中TP和TN爲預測正確的數量
將這四個指標放在表格中，就得到如下一個矩陣，它就是混淆矩陣：
混淆矩陣的指標
在大量數據面前，簡單的算個數目很難判定模型的好壞，因此在混淆矩陣的基礎上有延伸了四個指標，成爲二級指標
- 準確率（Accuracy）
- 精準率（Precision）
- 靈敏度（Sensitive），也叫召回率（Recall）
- 特異度（Specificity）
![在這裏插入圖片描述]()
通過上面的二級指標，可以將混淆矩陣的值轉換爲0到1之間的值，便於標準化的衡量
有時候會將精確率和召回率兩個指標放在一起看，就衍生了三級指標
這個指標叫做F1 Score
其中，P代表precision，R代表recall，F1-Score指標綜合了Precison和Recall的產出結果，F1-Score取值爲0到1,1代表模型最好，0代表結果最差
ROC曲線
ROC曲線定義
接受者操作特徵（receiver operating characteristic)，對每個樣本作爲正例進行預測，會得到每個樣本的概率值（score），然後按照概率值排序，以每個概率值作爲閾值，分別計算TPR和FPR，最後將FPR爲橫軸，TPR爲縱軸作圖，便得到roc曲線
橫軸：負正類率（FPR）,即1-特異度 Sensitive
FPR = FP/(TN+FP)
縱軸：真正類率（TPR），即靈敏度（召回率）
TPR = TP/(TP+FN)
我們的目標是讓TPR儘可能大，FPR儘可能小，因此理想的模型狀態爲圖中的（0,1）所有正例預測爲真正例、所有反例預測爲真反例
ROC曲線意義
ROC曲線能很容易的查出任意閾值對學習器的泛化性能影響。
有助於選擇最佳的閾值。ROC曲線越靠近左上角，模型的查全率就越高。
可以對不同的學習器比較性能。將各個學習器的ROC曲線繪製到同一座標中，直觀地鑑別優劣，靠近左上角的ROC曲所代表的學習器準確性最高。
AUC面積
（1）在學習器的比較中，若一個學習器的ROC曲線完全被另一個學習器的roc曲線包住，則後面的性能優於前者，如圖b，越靠90度方向的越好；
（2）若兩個學習器的曲線發生交叉，如圖a，則難以判斷哪個分類器更優，若需要判斷，則可通過roc曲線下面的面積來判斷，即AUC面積，面積越大，分類器的效果越好
sklearn的實現代碼放在下一篇文章裏