深度學習模型和評估

深度學習模型和評估

在設計和配置深度學習模型時,面臨很多選擇(如網絡的層數、大小和類型、以及損失函數的選擇等),必須做出決策來選擇合適的設計與配置。

1 自動評估

keras可將數據集的一部分分成評估數據集,並在每個epoch中使用該評估數據集對模型進行評估。實現上,可以通過將fit() 函數的驗證分割參數(validation_split)設置爲數據集的百分比來實現。

#訓練模型並自動評估模型
model.fit(x=x, y=Y, epochs=500, batch_size=20, validation_split=0.2)
2 手動評估

1)手動分離數據集並評估
2)k折交叉驗證

參考:https://www.cnblogs.com/skyfsm/p/8467613.html

機器學習最常見的模型評估指標,包括:

  • precision
  • recall
  • F1-score
  • PRC
  • ROC 和 AUC
  • IOU

混淆矩陣

在這裏插入圖片描述
理解:第一個字母表示本次預測的正確性,T是正確,F是錯誤;第二個字母表示由分類器預測的類別,P代表預測爲正例,N代表預測爲反例。

  • True Positive (真正,TP)被模型預測爲正的正樣本
  • True Negative(真負 , TN)被模型預測爲負的負樣本
  • False Positive (假正, FP)被模型預測爲正的負樣本
  • False Negative(假負 , FN)被模型預測爲負的正樣本

Precision、Recall、PRC、F1-score

  • Precision 查準率(精確率),指在所有系統判定的”真“樣本中,確實是真的得佔比
  • Recall 查全率(召回率),指在所有確定爲真的嚴格不能種,被判別爲”真“的佔比

** 注:precision和accuracy不一樣,accuracy針對所有樣本,precision針對部分樣本 **

查準率和查全率是一對矛盾的度量。通常只有在一些簡單任務中才可能使查準率和查全率都很高。

PRC - Precision Recall Curve

以查準率爲Y軸,查全率爲X軸做的圖。它是綜合評價整體結果的評估指標。

F1-score 是一個綜合考慮precision和recall的指標。

ROC & AUC

ROC 全稱是“受試者工作特徵”(Receiver Operating Characteristic)曲線,ROC曲線以“真正例率”(TPR)爲Y軸,以“假正例率”(FPR)爲X軸,對角線對應於“隨機猜測”模型,而(0,1)對應“理想模型”。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章