作者：LogM
本文原载于 https://segmentfault.com/u/logm/articles，不允许转载~
本文是 计算广告学Mooc 的读书笔记，Mooc讲得比较宏观，没涉及太多具体技术
1. 广告的基本知识
1.1 广告的目的
- 品牌广告：记忆
- 效果广告：转化
1.2 广告的有效性模型
-
选择：
- 曝光：广告位好不好
- 关注：不打断用户任务、明确揭示推荐原因、符合用户兴趣和需求
-
解释：
- 理解：用户能理解、与关注程度相关的理解门槛（电视购物理解时间长，互联网购物理解时间短）
- 信息接受：广告商的认可度、广告位（媒介）的认可度
-
态度：
- 保持：艺术性带来的记忆效果
- 购买：在用户的价格敏感接受范围内
1.3 广告与营销的区别
- 广告目标是接触到潜在用户，销售目标是接触到有明确需求的用户
1.4 在线广告的独特性
- 技术和计算导向
- 可衡量性：点击可衡量广告效果，但不是完全正确
- 标准化：不同人群有不同广告，所以广告的尺寸等都得标准化
- "媒体"概念差异化：门户、搜索引擎、淘宝网属于不同的"媒体"，处于supply到demand的不同阶段
1.5 在线广告市场
1.6 计算广告核心问题和挑战
- 大规模：百万量级的页面，十亿量级的用户；高并发；延迟要求
- 动态性：用户兴趣的变化
- 丰富的查询信息
- 探索与发现：主动投放一些探索广告以获取数据
1.7 广告、搜索与推荐的比较
- 搜索：相关性；垂直领域；十亿级；较少个性化需求；检索信号较集中
- 搜索广告：ROI；质量、安全性；百万~千万级；较少个性化需求；检索信号较集中
- 展示广告：ROI；质量、安全性；百万级；亿级用户的个性化；检索信号较丰富
- 推荐：用户兴趣；多样性、新鲜度；百万~亿级；亿级用户的个性化；检索信号较丰富；有downstream优化（针对一整套点击的优化，而非只关注一次点击）
1.8 投资回报率（ROI）分析
- 投入 = 采买价格
- 回报 = 点击率（CTR, click-through-rate）*点击价值 = eCPM（预期的CPM，每千次展示付费）
- CPM市场：eCPM固定，常见于品牌广告
- CPC（每次点击付费）市场：动态CTR，固定点击价值
- CPA（每次行为付费）/CPS（每次销售付费）/ROI市场：动态CTR，动态点击价值；只适用特殊场景
1.9 在线广告系统结构
- query -> 召回 -> 排序
- 受众定向平台（离线）：数据挖掘
- ad server（在线）: 高并发；十毫米实时决策；百亿次/天
- 数据高速公路：内部及外部TB级数据实时收集处理，收集在线端输给离线端
- 流式计算平台：日志的准实时挖掘和反馈，反作弊和计价
2. 合约广告系统
2.1 常用广告系统开源工具
2.2 合约广告简介
媒介（supply）为广告的展示量或者转化量做担保
- 直接媒体购买：比如向报纸买一个专栏广告；讲这个是为了引出下面两个合约广告
- 担保式投送（GD）：基于合约，没达到展示量要赔偿；量优先于质；CPM方式计费
- 广告投放机（ad server）：受众定向、CTR预测、流量预测
2.3 在线分配问题
- adwords problem -> display problem
2.4 Hadoop介绍
3. 受众定向
3.1 受众定向概念
-
为A（广告）U（用户）C（上下文）打标签
- 重定向：如果用户以前访问过某广告主的网站，则打标签
- 地域/人口属性（男女、收入）
- 上下文
- 行为定向：包括站内站外
- 网站/频道：财经、汽车等
- Hyper-Local：非常细的地域定向，细到一个建筑物（咖啡馆等）
- Look-alike：挖掘与历史消费用户相似的潜在用户
3.2 行为定向
- 重要性排序：transaction（直接的交易行为）、pre-transaction（如商品浏览）、paid search click（搜索广告的点击）、ad click（普通广告的点击）、search click、search、share、page view、ad view
3.3 上下文定向
- 半在线打标签
3.4 主题模型
- PLSI
- LDA
- GaP
3.5 数据加工和交易
4. 竞价广告系统
4.1 位置拍卖理论
- VCG理论：某对象的收费应等于给他人带来的价值损害；实际中很难算
- 广义第二高价：比下一位出更高的价；与VCG机制相比，会收取广告主更多的费用；在线广告广泛采用
4.2 广告网络概念
4.3 广告检索（召回）
- 布尔表示式检索：二层倒排
- 长query：WAND检索算法
4.4 流量预测
- 将a视为query，召回（u, c）；预估某个广告主的流量
4.5 zookeeper介绍
- 分布式同步服务
4.6 点击率预测与逻辑回归
- 回归比ranking合适，因为要估计CTR
- 冷启动
- 动态特征：快速调整特征；在线学习：快速调整模型
4.7 逻辑回归方法介绍
- BFGS
- ADMM
4.8 动态特征
5. 搜索广告与广告网络
5.1 探索与利用
- 针对长尾的广告，创造展示机会
-
基本方法：小流量随机探索
- UCB：通过以往观测值计算每个广告的期望收益，选择期望收益最大的广告进行投放，观测结果用于调整下次计算；随着观测次数的增多，会逐渐收敛
5.2 搜索广告
- 特点：用户定向特征弱，上下文特征强（短时用户行为）
- 查询词扩展：基于推荐（向量相似度）、基于语义（主题模型）、基于历史数据统计
5.3 流式计算平台
5.4 广告购买平台
- 帮助广告主采买媒介，并优化ROI
6. 广告交易市场
6.1 广告交易市场
6.2 实时竞价
- Adx（ad exchange）实时向DSP询价
6.3 Cookie Mapping
6.4 SSP
- Supply side platform
6.5 DSP
- Demand side platform
6.6 DSP流量预测
- 只能利用历史竞价信息，很重要，但暂无较好的解决方案
6.7 DSP点击价值估计
- 比较难：数据很稀疏，不同类型广告的点击价值差别很大（电商、游戏）
6.8 DSP重定向（Retargeting）
- 比如：在淘宝购买或者浏览了某商品，之后其它网站会出现淘宝广告