推薦系統的性能評估（RMSE、MAE、F1 core、A/B testing、CTR和CR、ROI和QA）

目錄

一、線下評估（應用學術研究）

1、RMSE(均方根誤差)

2、MAE(均方誤差)

3、F1 score(包括recall和precision)

（1）recall

（2）precision

4、A/B testing

二、線上評估（應用於商業）

1、CTR和CR

2、ROI和QA

---

一、線下評估（應用學術研究）

1、RMSE(均方根誤差)

應用場景：需要用戶評分信息，評分信息較多時

 

RMSE越小表示誤差越小，推薦系統的性能就越好

2、MAE(均方誤差)

應用場景：需要用戶評分信息，評分信息較多時

3、F1 score(包括recall和precision)

應用場景：當沒有用戶評分信息時，或者評分信息較少

舉例：

（1）recall

或

此時recall=6/10=0.6，recall越大表示包含了越多給用戶推薦的商品

（2）precision

或

此時precision=6/50=0.12,precision越大表示了推薦的商品數量越少，即推薦的更精準

綜合（1）+（2）

F的值越大說明推薦系統的性能越好

4、A/B testing

分組推薦，可以不止是A和B，越多消耗資源越大

二、線上評估（應用於商業）

1、CTR和CR

CTR(點擊率Click Through Rate)

CR（轉化率 Conversion Rate）

2、ROI和QA

關鍵在於定義合理的回報和投資，ROI越大推薦系統性能越好

當憑藉算法評價推薦系統的性能不理想時，可以專門成立一個QA小組來測試推薦系統，根據個人經驗判斷。