《計算廣告學（劉鵬）》聽課筆記4-6

網址： http://study.163.com/course/courseLearn.htm?courseId=321007#/learn/video?lessonId=435079&courseId=321007
 
4.1 位置拍賣理論

搜索廣告：多個位置聯合拍賣，可以一個不出
展示廣告：單個位置，通常一定要出
對稱納什均衡：廣告系統的設計目標

定價機制
VCG機制：收費應等於對別人帶來的價值損害；truth-telling
Generalized Second Price：廣義第二高價，不是truth-telling
第一高價
4.2 Ad Network
淡化廣告位概念
計價方式爲CPC
不支持定製化用戶劃分
4.3 廣告檢索

布爾表達式
DNF格式；conjunction；assignment
index：2層索引
長query，每個term都是should
有效剪枝算法：需要相關性函數是線性
WAND（weighted and）算法
4.4 流量預測

query爲ad，對（u, c）聯合空間做retrieval
SUM impression(c) * p(price_a - eCPM_c)
4.5 ZooKeeper介紹

分佈式環境下解決一致性：消息傳遞機制

Paxos算法
Proposer(n, value): 
Acceptor：一次任務只批准一個value
Learner：只獲得被批准的提案
兩段式提交
4.6 點擊率預測

Regression vs Ranking

Cold start問題

Online learning

4.7 邏輯迴歸

Logistic Regression
Generalized Linear Model 在Binomial error時的特例
Maximum Entropy Model在class=2時的特例。ME=Logistic Disriminate Analysis？ 
優化方法
IIS
BFGS：Quasi-Newton的一種，模擬一個Hession矩陣
L-BFGS：limited memory， 對Hession矩陣的逆矩陣降維
ADMM分佈式解法
4.8 動態特徵

在組合維度上的歷史統計值

5.1 探索與利用

Multi-arm Bandit(老虎機）
epsilion-greedy： 使用小流量做探索
UCB（upper confidence bound）策略
linUCB: contextual bandit，使用特徵適量代替bound
5.2 搜索廣告

特性
用戶標籤不重要，因爲query太強
用戶短時搜索行爲比較重要
問題
Query expansion：
搜索日誌，做cf
文檔集合，做topic model
廣告日誌，按eCPM排序
搜索廣告個性化
搜索結果不宜做深度個性化
廣告內容個性化效果有限，但廣告條數可以做個性化
短時用戶行爲
同一個session內的行爲
需要分鐘級別，甚至秒級別，需要流式計算平臺
5.3 流式計算平臺

S4 vs Strom
S4：全內存，吞吐量大，編程麻煩，可能丟數據
Strom：可能調度磁盤，編程接口類似hadoop，保證不遺漏
Strom
spout、bolt
類似map/reduce架構
調度數據，而不是調度計算
只適用處理實時數據，數據規模不能太大。（適合online learning？）
5.4 廣告購買平臺（Trading desk）
universal marketplace
非RTB流量的ROI優化
關鍵問題
例如SEM選詞
展示廣告的關鍵詞組合
合理的出價
代表公司
EfficientFrontier
核心技術是Portfolio Optimization，和數據積累
被Adobe Omniture收購，改爲Adobe Adlens
國外4A公司從廣告商收取17.6%費用，國內只有從百度拿6%返點

6.1 廣告交易市場

實時競價通常按照CPM收費

Ad exchange代表公司
RightMedia， Google Adx， AdECN， OpenX
6.2 實時競價
cookie mapping
ad call
對demand更有利，CTR的估計和點擊的價值都交給deman來做

DMP的作用是提高精準性和市場流動性

6.3 Cookie Mapping

beacon（smart pixel）：1x1或0x0的不可見像素

三個問題：誰發起？在哪兒發起？誰存儲mapping表？
DSP-Demand site-Adx，存在DSP
DMP-Supply site，存在Supply
6.4 SSP

以優化媒體收益爲目標
靈活接入和管理多種變現方式
Yield Optimizer：收入優化
代表公司：
Google AdMeld
6.5 DSP
支持定製化用戶劃分
跨媒體流量採購
代表公司
InviteMedia，MediaMath
6.6 DSP流量預測

難點：dsp只能拿到贏得的流量，不能獲取全部流量

6.7 DSP點擊價值估計

挑戰
極爲稀疏的訓練數據
轉化是與廣告主類型密切相關
原則
用較大的bias換取較小的variance，達到穩健估計
利用廣告商類型的層級結構特徵，以及轉化流程的特徵
6.8 DSP重定向
site retargeting
search retargeting
personalized retargeting: off-site recommendation
推薦算法：SVD++的思想

代表公司
Magnetic：search retargeting
Criteo：站外推薦的個性化重定向
動態創意；廣告主商品庫的準實時feed接口；
採購媒體的優選CPM
不使用cross-site的數據：廣告主的數據安全很重要，不能倒賣客戶
Look-alike（新客推薦）：利用種子用戶；利用客戶自定義標籤

6.9 demand端推薦方法
站內推薦
站外個性化重定向
新客推薦
6.10 廣告流量交易方式
優先銷售Premium Sale：品牌溢價
CPT
GD：Ad Server
程序交易Programmatic Trade：偏向Demand的方向
Network optimization：Ad Network
Preferred（優選）
RTB：Ad Exchange