作者：LogM
本文原載於 https://segmentfault.com/u/logm/articles，不允許轉載~
本文是 計算廣告學Mooc 的讀書筆記，Mooc講得比較宏觀，沒涉及太多具體技術
1. 廣告的基本知識
1.1 廣告的目的
- 品牌廣告：記憶
- 效果廣告：轉化
1.2 廣告的有效性模型
-
選擇：
- 曝光：廣告位好不好
- 關注：不打斷用戶任務、明確揭示推薦原因、符合用戶興趣和需求
-
解釋：
- 理解：用戶能理解、與關注程度相關的理解門檻（電視購物理解時間長，互聯網購物理解時間短）
- 信息接受：廣告商的認可度、廣告位（媒介）的認可度
-
態度：
- 保持：藝術性帶來的記憶效果
- 購買：在用戶的價格敏感接受範圍內
1.3 廣告與營銷的區別
- 廣告目標是接觸到潛在用戶，銷售目標是接觸到有明確需求的用戶
1.4 在線廣告的獨特性
- 技術和計算導向
- 可衡量性：點擊可衡量廣告效果，但不是完全正確
- 標準化：不同人羣有不同廣告，所以廣告的尺寸等都得標準化
- "媒體"概念差異化：門戶、搜索引擎、淘寶網屬於不同的"媒體"，處於supply到demand的不同階段
1.5 在線廣告市場
1.6 計算廣告核心問題和挑戰
- 大規模：百萬量級的頁面，十億量級的用戶；高併發；延遲要求
- 動態性：用戶興趣的變化
- 豐富的查詢信息
- 探索與發現：主動投放一些探索廣告以獲取數據
1.7 廣告、搜索與推薦的比較
- 搜索：相關性；垂直領域；十億級；較少個性化需求；檢索信號較集中
- 搜索廣告：ROI；質量、安全性；百萬~千萬級；較少個性化需求；檢索信號較集中
- 展示廣告：ROI；質量、安全性；百萬級；億級用戶的個性化；檢索信號較豐富
- 推薦：用戶興趣；多樣性、新鮮度；百萬~億級；億級用戶的個性化；檢索信號較豐富；有downstream優化（針對一整套點擊的優化，而非只關注一次點擊）
1.8 投資回報率（ROI）分析
- 投入 = 採買價格
- 回報 = 點擊率（CTR, click-through-rate）*點擊價值 = eCPM（預期的CPM，每千次展示付費）
- CPM市場：eCPM固定，常見於品牌廣告
- CPC（每次點擊付費）市場：動態CTR，固定點擊價值
- CPA（每次行爲付費）/CPS（每次銷售付費）/ROI市場：動態CTR，動態點擊價值；只適用特殊場景
1.9 在線廣告系統結構
- query -> 召回 -> 排序
- 受衆定向平臺（離線）：數據挖掘
- ad server（在線）: 高併發；十毫米實時決策；百億次/天
- 數據高速公路：內部及外部TB級數據實時收集處理，收集在線端輸給離線端
- 流式計算平臺：日誌的準實時挖掘和反饋，反作弊和計價
2. 合約廣告系統
2.1 常用廣告系統開源工具
2.2 合約廣告簡介
媒介（supply）爲廣告的展示量或者轉化量做擔保
- 直接媒體購買：比如向報紙買一個專欄廣告；講這個是爲了引出下面兩個合約廣告
- 擔保式投送（GD）：基於合約，沒達到展示量要賠償；量優先於質；CPM方式計費
- 廣告投放機（ad server）：受衆定向、CTR預測、流量預測
2.3 在線分配問題
- adwords problem -> display problem
2.4 Hadoop介紹
3. 受衆定向
3.1 受衆定向概念
-
爲A（廣告）U（用戶）C（上下文）打標籤
- 重定向：如果用戶以前訪問過某廣告主的網站，則打標籤
- 地域/人口屬性（男女、收入）
- 上下文
- 行爲定向：包括站內站外
- 網站/頻道：財經、汽車等
- Hyper-Local：非常細的地域定向，細到一個建築物（咖啡館等）
- Look-alike：挖掘與歷史消費用戶相似的潛在用戶
3.2 行爲定向
- 重要性排序：transaction（直接的交易行爲）、pre-transaction（如商品瀏覽）、paid search click（搜索廣告的點擊）、ad click（普通廣告的點擊）、search click、search、share、page view、ad view
3.3 上下文定向
- 半在線打標籤
3.4 主題模型
- PLSI
- LDA
- GaP
3.5 數據加工和交易
4. 競價廣告系統
4.1 位置拍賣理論
- VCG理論：某對象的收費應等於給他人帶來的價值損害；實際中很難算
- 廣義第二高價：比下一位出更高的價；與VCG機制相比，會收取廣告主更多的費用；在線廣告廣泛採用
4.2 廣告網絡概念
4.3 廣告檢索（召回）
- 布爾表示式檢索：二層倒排
- 長query：WAND檢索算法
4.4 流量預測
- 將a視爲query，召回（u, c）；預估某個廣告主的流量
4.5 zookeeper介紹
- 分佈式同步服務
4.6 點擊率預測與邏輯迴歸
- 迴歸比ranking合適，因爲要估計CTR
- 冷啓動
- 動態特徵：快速調整特徵；在線學習：快速調整模型
4.7 邏輯迴歸方法介紹
- BFGS
- ADMM
4.8 動態特徵
5. 搜索廣告與廣告網絡
5.1 探索與利用
- 針對長尾的廣告，創造展示機會
-
基本方法：小流量隨機探索
- UCB：通過以往觀測值計算每個廣告的期望收益，選擇期望收益最大的廣告進行投放，觀測結果用於調整下次計算；隨着觀測次數的增多，會逐漸收斂
5.2 搜索廣告
- 特點：用戶定向特徵弱，上下文特徵強（短時用戶行爲）
- 查詢詞擴展：基於推薦（向量相似度）、基於語義（主題模型）、基於歷史數據統計
5.3 流式計算平臺
5.4 廣告購買平臺
- 幫助廣告主採買媒介，並優化ROI
6. 廣告交易市場
6.1 廣告交易市場
6.2 實時競價
- Adx（ad exchange）實時向DSP詢價
6.3 Cookie Mapping
6.4 SSP
- Supply side platform
6.5 DSP
- Demand side platform
6.6 DSP流量預測
- 只能利用歷史競價信息，很重要，但暫無較好的解決方案
6.7 DSP點擊價值估計
- 比較難：數據很稀疏，不同類型廣告的點擊價值差別很大（電商、遊戲）
6.8 DSP重定向（Retargeting）
- 比如：在淘寶購買或者瀏覽了某商品，之後其它網站會出現淘寶廣告