評分卡模型驗證常用指標

在模型訓練及驗證之前，需進行好壞用戶的劃分，可通過有貸後表現根據閾值進行劃分，其中壞用戶定義爲1，好用戶定義爲0,基於此對模型驗證指標進行說明。

• 混淆矩陣（confusion matrix）

		實際表現
		1	0
預測表現	1	TP(true positive 預測正確的壞用戶個數)	FP(false positive 預測錯誤的壞用戶個數)
	0	FN(false negative 預測錯誤的好用戶個數)	TN(true negative 預測正確的好用戶個數)

• 精確率/查準率
  計算方式：
  精確率(Precision)=TP/(TP+FP)，即預測爲壞人中預測正確的壞人佔比；

• 召回率/查全率
  計算方式：
  召回率（Recall）=TP/(TP+FN)，即實際爲壞人中預測正確的壞人佔比；

• F1 值
  用來衡量二分類模型精確度的指標，綜合了分類模型的準確率和召回率。
  計算方式：
  F1=2PR/(P+R)
  即精確率與召回率的調和平均值，P指精確率，R指召回率，爲綜合指標；
  加權一般形式：
  

其中：

β值	說明
β=1	P、R權重相等，即F1
β>1	R的權重>P的權重
β<1	R的權重小於P的權重

• K-S值
  ks值用於對模型風險區分能力進行評估，指標爲好壞樣本累計部分的插值，一般K-S曲線的最大值代表K-S統計量，ks指標越大，模型風險區分能力越強。
  計算方式:
  1.計算每個樣本區間的TPR(真正率/召回率：實際爲壞人中預測爲壞人的比例)與FPR(假正率：實際中爲好人預測爲壞人的比例)：TPR=TP/(TP+FN),FPR=FP/(FP+TN),即累計TP/(TP+FN) 與累計FP/(FP+TN)；
  2.將樣本分佈區間排序，計算每個區間：|TPR-FPR|，獲取每個區間絕對值的最大值，即max(|TPR-FPR|)，爲評分卡的K-S值。
  如圖範例，縱軸爲TPR與FPR，橫軸爲樣本佔比：
  

評價標準：

k-s值（%）	劃分說明
<20	模型無鑑別能力
20~40	模型效果勉強接受
41~50	模型具有區別能力
51~60	模型有很好的區別能力
61~75	模型有非常好的區別能力
>75	模型異常，可能有問題

• ROC
  計算方式：
  1.計算每個樣本區間的TPR：TPR=TP/(TP+FN),FPR=FP/(FP+TN)
  2.以FPR爲x軸，TPR爲y軸畫圖，獲得ROC曲線

• AUC
  計算方式：
  AUC爲ROC曲線下的面積，一般AUC在0.5到1之間，AUC越高，模型的區分能力越好。

• GINI係數
  Gini coefficient用以衡量模型風險區分能力，用來衡量分佈平衡程度，值的範圍爲0~1，計算方式：均勻分佈直線與洛倫茲曲線之間的面積/均勻分佈直線下的面積，即G=A/(A+B)。
  
  計算方式：
  gini係數 = A / (A + B) = (AUC - C) / (A + B) = (AUC -0.5) / 0.5 = 2*AUC - 1（其中C=A+B）；

• PSI
  穩定度指標PSI，用於衡量測試樣本即模型開發樣本評分的分佈差異。PSI表示的就是按分數分檔後，針對不同樣本，或者不同時間的樣本，population分佈是否有變化，就是看各個分數區間內人數佔總人數的佔比是否有顯著變化。
  計算方式：
  1.獲取各評分區間樣本實際佔比Ac，與預測佔比Ex，
  2.PSI=sum((Ac-Ex)*ln(Ac/Ex))

PSI	劃分說明
<10%	穩定性很高，無需更新模型
<10%~25%	穩定性一般，需要進一步研究
>25%	穩定性差，需要更新模型

穩定性測試分爲兩塊，一個是樣本外測試，一個是時間外測試；

• LIFT
  lift用來衡量一個模型是否有效，其值爲應用模型對目標響應的預測能力優於隨機響應的倍數，lift值越大，模型運行效果越好。
  計算方式：
  Lift=(TP/(TP+FP))/(P/(P+N))
  即實際爲壞樣本中預測正確的比例與隨機分配壞樣本的比例的比值。

• GAIN
  用來描述模型的整體精準度；
  計算方式：
  Gain=TP/(TP+FP)

• 參考url：
  https://staesthetic.wordpress.com/2014/04/14/gini-roc-auc-and-accuracy/
  https://blog.csdn.net/shy19890510/article/details/79501582
  https://blog.csdn.net/pipisorry/article/details/52574156
  https://zh.wikipedia.org/wiki/基尼係數
  http://www.mamicode.com/info-detail-2307541.html