深度學習模型和評估
在設計和配置深度學習模型時,面臨很多選擇(如網絡的層數、大小和類型、以及損失函數的選擇等),必須做出決策來選擇合適的設計與配置。
1 自動評估
keras可將數據集的一部分分成評估數據集,並在每個epoch中使用該評估數據集對模型進行評估。實現上,可以通過將fit() 函數的驗證分割參數(validation_split)設置爲數據集的百分比來實現。
#訓練模型並自動評估模型
model.fit(x=x, y=Y, epochs=500, batch_size=20, validation_split=0.2)
2 手動評估
1)手動分離數據集並評估
2)k折交叉驗證
參考:https://www.cnblogs.com/skyfsm/p/8467613.html
機器學習最常見的模型評估指標,包括:
- precision
- recall
- F1-score
- PRC
- ROC 和 AUC
- IOU
混淆矩陣
理解:第一個字母表示本次預測的正確性,T是正確,F是錯誤;第二個字母表示由分類器預測的類別,P代表預測爲正例,N代表預測爲反例。
- True Positive (真正,TP)被模型預測爲正的正樣本
- True Negative(真負 , TN)被模型預測爲負的負樣本
- False Positive (假正, FP)被模型預測爲正的負樣本
- False Negative(假負 , FN)被模型預測爲負的正樣本
Precision、Recall、PRC、F1-score
- Precision 查準率(精確率),指在所有系統判定的”真“樣本中,確實是真的得佔比
- Recall 查全率(召回率),指在所有確定爲真的嚴格不能種,被判別爲”真“的佔比
** 注:precision和accuracy不一樣,accuracy針對所有樣本,precision針對部分樣本 **
查準率和查全率是一對矛盾的度量。通常只有在一些簡單任務中才可能使查準率和查全率都很高。
PRC - Precision Recall Curve
以查準率爲Y軸,查全率爲X軸做的圖。它是綜合評價整體結果的評估指標。
F1-score 是一個綜合考慮precision和recall的指標。
ROC & AUC
ROC 全稱是“受試者工作特徵”(Receiver Operating Characteristic)曲線,ROC曲線以“真正例率”(TPR)爲Y軸,以“假正例率”(FPR)爲X軸,對角線對應於“隨機猜測”模型,而(0,1)對應“理想模型”。