四、如何測試模型在真實數據上的表現

1.對照實驗。在實驗中設置對照組,爲了與即將進行實驗的組進行對比,減少實驗中一些不確定因素的影響。

將數據分成兩部分,實驗組和對照組,檢驗實驗組合對照組在統計意義上是否有明顯差異

2.觀察性實驗。在實際研究中,研究者可能無辦法去控制一些影響因素,例如:

(1)隨機對照實驗違反倫理道德。

(2)研究者無法控制因素的發生與否。

(3)在實際應用中可能由於控制因素的成本太大,也可能會採取這種方法

3.離線實驗。

步驟:

  1. 通過日誌系統獲得用戶行爲數據,按照一定的格式生成一個標準的數據集
  2. 將數據集按照一定的規則分成訓練集的和測試集
  3. 在訓練集上訓練用戶興趣模型,在測試集上進行預測
  4. 通過事先定義的離線指標評測算法在測試集上的預測結果

優點:

  • 不需要真實用戶的參與
  • 速度快,可以測試大量算法

缺點:

  • 無法計算商業關心的指標,例如點擊率、轉化率等
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章