性能度量（模型評價）

• 分類結果混淆矩陣
  ——預測 預測
  正例 TP FN
  反例 FP TN
  準確率：
  acc = (TP+FP)/(TP+TN+FP+FN)
  查準率或精度Precision：
  P=(TP)/(TP+FP)
  查全率或者靈敏性或者召回率Recall：
  R=(TP)/(TP+FN)
  P-R曲線：橫座標爲P,縱座標爲R,平衡點BEP滿足P=R的取值
  F1=2PR/(P+R)
  商品推薦中更看重P，抓捕逃犯更看重R（查的更全點）
  F1可以擴展爲Fβ=(1+β2)×P×R/(β2×P+R)$F_{\beta }=(1+{\beta }^2)\times P\times R/({\beta }^2\times P+R)$
  β$\beta$ 大於1更看重查全R，否則更看重查準P
• ROC和AUC
  用於截斷點的設置。
  ROC橫座標爲真正例率：TPR=TP/(TP+FN)
  ROC縱座標爲假整理率：FPR=FP/(FP+TN)
  繪圖方法：給定m^+個整理和m^-個反例，根據學習器預測結果對樣例進行排序，然後把分類與之設爲最大，即把所有樣例均預測爲反例，此時真正例率和假正例率均爲0，在座標(0,0)處標記一個點，然後，將分類閾值依次設爲每個樣例的預測值，即一次將每個樣例劃分爲正例，設前一個標記點座標爲(x,y)，當前若爲真正例，則對應標記點的座標爲(x,y+\frac{1}{m^+})；當前若爲假正例，則對應標記點的座標爲(x+\frac{1}{m^-},y)，然後用線段連接相鄰點即得。
  AUC可通過對ROC曲線下各部分的面積求和而得。
  AUC的物理意義：AUC就是從所有1樣本中隨機選取一個樣本，從所有0樣本中隨機選取一個樣本，然後根據分類起對兩個隨機樣本進行預測，把1樣本預測爲1的概率爲p1，把0樣本預測爲1的概率爲p0，p1>p0的概率就等於AUC。所以AUC反映的是分類器對樣本的排序能力。
  另外值得注意的是，AUC對樣本類別是否均衡病不敏感，這也是不均衡樣本通常用AUC評價分類器性能的一個原因。