Cost-Effective and Stable Policy Optimization Algorithm for Uplift Modeling with Multiple Treatments
The 2020 SIAM International Conference on Data Mining
Abstract
uplift模型是一种 causal-based personalization 的方法，目标是优化treatment，在医学和市场营销等不同领域都很有应用前景。然而，应用uplift模型也面临着挑战，例如二元 treatment 的局限性和很难验证。Contextual Treatment Selection（CTS）是为了克服二元treatment的局限性而提出的，并显示了state-of-the-art 的结果。然而，之前的实验表明，由于CTS需要大量的训练数据，所以它是成本低效的。本文证明了CTS中最大化的估计量是有偏估计。然后，本文提出了一种基于doubly robust estimation technique的variance reduced estimator，它提供了无偏性和期望方差。本文进一步提出了一种treatment策略优化算法，称为VAriance Reduced Treatment Selection（VARTS）。对合成数据集和真实数据集的经验实验表明，本文的方法优于其他现有方法，特别是在小样本量和高噪声水平等现实条件下。这些理论和实证结果表明，我们的方法能够克服uplift建模的关键挑战，应该成为各个领域个性化优化的首选。
1 Introduction
在各种现实问题中，选择收益（profit of interest）最大化的 treatment 是非常重要的。例如，广告公司需要向每个用户发送最合适的