1.對照實驗。在實驗中設置對照組,爲了與即將進行實驗的組進行對比,減少實驗中一些不確定因素的影響。
將數據分成兩部分,實驗組和對照組,檢驗實驗組合對照組在統計意義上是否有明顯差異
2.觀察性實驗。在實際研究中,研究者可能無辦法去控制一些影響因素,例如:
(1)隨機對照實驗違反倫理道德。
(2)研究者無法控制因素的發生與否。
(3)在實際應用中可能由於控制因素的成本太大,也可能會採取這種方法
3.離線實驗。
步驟:
- 通過日誌系統獲得用戶行爲數據,按照一定的格式生成一個標準的數據集
- 將數據集按照一定的規則分成訓練集的和測試集
- 在訓練集上訓練用戶興趣模型,在測試集上進行預測
- 通過事先定義的離線指標評測算法在測試集上的預測結果
優點:
- 不需要真實用戶的參與
- 速度快,可以測試大量算法
缺點:
- 無法計算商業關心的指標,例如點擊率、轉化率等