FTRL之初学笔记

理论

FTRL的发展历程，见微博团队冯杨的在线最优化求解.pdf
网页版见在线最优化求解(Online Optimization)之五：FTRL

原始论文：https://www.eecs.tufts.edu/~dsculley/papers/ad-click-prediction.pdf
原论文的中文总结：Google广告点击预估 [KDD2013]，其他注释如：各大公司广泛使用的在线学习算法FTRL详解

源码实现

python

• https://github.com/fmfn/FTRLp/blob/master/FTRLp.py
• https://www.kaggle.com/jiweiliu/springleaf-marketing-response/ftrl-starter-code/code
• https://www.kaggle.com/c/avazu-ctr-prediction/discussion/10927 里边有kaggle比赛提供的fast_solution_v3.py

java

未知点

有一个地方没看懂，FTRL原文中提到subsample的方法，对于负样本可以用r采样，然后权重是1/r，这个在代码实现的时候究竟应该写到哪，如何做到r只是对logloss和梯度进行缩放。在上述源码实现中，都没有看到负样本采样系数的使用。