FTRL之初學筆記

理論

FTRL的發展歷程，見微博團隊馮楊的在線最優化求解.pdf
網頁版見在線最優化求解(Online Optimization)之五：FTRL

原始論文：https://www.eecs.tufts.edu/~dsculley/papers/ad-click-prediction.pdf
原論文的中文總結：Google廣告點擊預估 [KDD2013]，其他註釋如：各大公司廣泛使用的在線學習算法FTRL詳解

源碼實現

python

• https://github.com/fmfn/FTRLp/blob/master/FTRLp.py
• https://www.kaggle.com/jiweiliu/springleaf-marketing-response/ftrl-starter-code/code
• https://www.kaggle.com/c/avazu-ctr-prediction/discussion/10927 裏邊有kaggle比賽提供的fast_solution_v3.py

java

未知點

有一個地方沒看懂，FTRL原文中提到subsample的方法，對於負樣本可以用r採樣，然後權重是1/r，這個在代碼實現的時候究竟應該寫到哪，如何做到r只是對logloss和梯度進行縮放。在上述源碼實現中，都沒有看到負樣本採樣係數的使用。