互聯網廣告系統綜述三業務描述
聲明：
1）該博文是整理自網上很大牛和專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻
2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應，更有些部分本來就是直接從其他博客複製過來的。如果某部分不小心侵犯了大家的利益，還望海涵，並聯系老衲刪除或修改，直到相關人士滿意爲止。
3）本人才疏學淺，整理總結的時候難免出錯，還望各位前輩不吝指正，謝謝。
4）閱讀本文需要互聯網廣告業的基礎（如果沒有也沒關係了，沒有就看看，當做跟同學們吹牛的本錢）。
5）此屬於第一版本，若有錯誤，還需繼續修正與增刪。還望大家多多指點。請直接回帖，本人來想辦法處理。
前面說了互聯網廣告市場發展的一些現狀，其中提到了品牌廣告和效果廣告，也提到了廣告平臺中涉及的三個利益相關方廣告主，用戶，廣告平臺老闆。
由於本文是利用廣告平臺的工程師的視角描述的，就聊聊廣告平臺上的利益相關方的博弈吧。
當然，要注意的是，效果廣告纔有這三方博弈，品牌廣告往往只有廣告主和平臺在博弈，用戶方面考慮得比較少。
下面說的東西都主要以效果廣告的視角描述的。
一．三國殺
廣告平臺的工程師的視角，其實就是廣告算法工程師的視角了，因爲其他團隊如產品，工程，運營團隊，都沒有需要直接利用代碼來實現這三方利益的任務。換言之，廣告算法工程師就是處於那個平衡三方利益的位置的。
下面看看這三方的需求。
廣告主：更合適的受衆，更高的轉化率
用戶：我不喜歡的我不要
三個方面的利益其實不是一致的：平臺老闆想多賺錢，就要給用戶投廣告；廣告主想要用最少的錢換最大量的轉化；用戶根本不想看他不感興趣的廣告。
這就讓廣告算法工程師很爲難了
對於廣告算法工程師來說，這三個利益方都是大爺，無論哪一方不滿，都會直接投訴到廣告算法工程師的郵箱或者業績裏面的。
二．算法的角色——制衡
既然有了這樣的任務，廣告算法工程師自然也不能坐以待斃。三方利益不能同時最大化，那就只能在三方利益中取平衡點了，這個工作起個好聽點的名字“制衡”。
下面看怎麼制衡
2.1 廣告主
先說怎麼滿足廣告主的需求——更適合的受衆，更高的轉化率。
關鍵點是怎麼選擇更適合的受衆了。
廣告主的要求是變化多端的，因爲賣什麼的廣告主都有。廣告主也有自己的一些經驗，所以他們也大致知道什麼樣的人（潛在客戶）適合投他們自己的廣告。理想情況是廣告算法工程師幫助廣告主找出最合適的客戶，只是廣告算法工程師不可能一位一位用戶地去問他們喜歡什麼廣告主吧。而且用戶的興趣變化多端，相關的廣告主會很多，標註起來會非常複雜。
既然沒辦法做到極致，就只能做能做的事——準確地劃分人羣。
工程師劃分人羣后，這些人羣就具備了一些屬性，廣告主在下單前，根據自己產品的特性去考察這些屬性，去選擇自己的廣告受衆，這個過程叫做“選擇定向條件”。
這個過程就是廣告行業的術語“定向”，這裏先把一些通用的定向方式列一下，再說說廣告算法工程師的工作吧，
常見的廣告定向方式有後面幾種：1、人羣屬性定向。2、上下文定向。3、行爲定向。4、再營銷。5、相似用戶定向。6、地理位置定向。7、其他如時間定向；設備定向；天氣定向；語言定向。
要滿足廣告主的這些定向方式，就考察廣告算法工程師的頭腦了，要做的事情其實很多的，如第一個“人羣屬性定向”，就說年齡性別這兩個簡單屬性來說，很多平臺都沒有的，就要算法工程師用各種模型去估（其實有時候都是瞎估）了。其他的如教育背景、職業、婚姻狀態、收入、消費能力、工作場所等等，有這些數據的公司很少，多數都是瞎估，估算方法五花八門，都是被逼出來的。但是這個跟三大利益方的需求有關，只好整出來。再有“行爲定向”和“相似用戶定向”，這兩個就靠譜點了，畢竟用戶行爲可以總結出大致的興趣來，相似的用戶也能用機器學習方法弄出幾分來。
這裏只是綜述，後面會有其他章節介紹廣告算法工程師在定向方式方面的工作的。
2.2 老闆與用戶
老闆的需求是——賺更多的錢。
用戶的需求是——不喜歡的東西不要，只看自己感興趣的東西。
兩個寫在一起的原因是這兩條往往是衝突的，一個用戶不感興趣的廣告，出價往往比較高；而一個用戶感興趣的廣告，出價往往不高。
而能產生上面所說的衝突的原因是，一個用戶來了，會有很多廣告主想向他投廣告，這些廣告有些用戶喜歡，有些不喜歡；有些出價高，有些出價低。
這就帶來了廣告算法工程師的苦惱，怎麼辦？難道仰天長嘆：“元芳，你怎麼看？挖掘機技術哪家強？”
早有優秀的前輩找出瞭解決方法，有兩個相關的方法：算分排序和扣費方法。
2.2.1算分排序
算分排序這個東西能綜合考慮老闆和用戶的需求，具體操作方式是，一個用戶來了，對於想向這個用戶投的廣告，都打一個分，根據這個分進行倒排序，排在最前面的廣告就是對這兩方最合適的廣告。
且看看每個廣告算分公式:
Score=bid*ctr
其中的bid表示廣告的出價。
而ctr的含義比較豐富，既表示了用戶對廣告的喜歡程度，也表示了廣告的質量，還表示了這個廣告的期望的點擊率，還希望這個ctr跟廣告真實的點擊率也是一致的。這個ctr不是誰給出的，而是用一些方法（模型）估算的。這ctr估高了，會把出價不高同時用戶也不喜歡的廣告的分算得比較高，這樣是不行的；估低了，出價一般高但是用戶比較喜歡的廣告的分算得比較低，沒機會投出去，就會導致用戶總是看到不喜歡的廣告。既然這個ctr這麼重要，自然也是廣告算法工程師的工作的重中之重，後面有專門的章節介紹這個ctr的計算方式的，那是一個艱苦的戰役。這裏就把結果拿出來直接用了。
算分公式是用乘法，保證了出價高的廣告分更高，也保證ctr高的廣告分也更高；而光出價高，ctr特別低的廣告分一般高，同時出價特別低，ctr比較高的廣告分也一般高，從而更可能排名高的廣告是出價一般高，ctr一般高的廣告排名高了（兩邊不得罪）。
就這樣，算分排序平衡了兩方的需求。這也就平衡了收益和用戶體驗。
2.3 老闆與廣告主
上面的描述說了老闆與用戶的關係，就是要平衡收益和用戶體驗，通過算分排序完成了。
還有一對冤家的利益需要平衡，就是老闆與廣告主，這事情比較詭異，因爲這兩家的問題也比較突出的，廣告主想少花錢獲取更多受衆和轉化；老闆希望儘量多收錢，而且還希望長期多收錢，這也需要廣告算法工程師提供一個平衡的方法（真是老鼠鑽進風箱裏，兩頭受氣）。
優秀的前輩們總是有辦法的，他們提供了扣費方法，下面抄一個過來吧。
2.3.1扣費方法
有幾種，廣義一階價格和廣義二階價格是被討論得最多了。
廣義一階價格（GFP），就是廣告主開多少價，在廣告投放後就收多少錢。這樣廣告平臺就會跟廣告主進行重複博弈，在每一輪拍賣結束後，廣告主會根據上一輪報價的情形決定下一輪的出價決策。這樣就很容易出現問題，一開始廣告主爲了搶量不斷擡價（價格攀升階段），後面玩熟練了，大家一起壓價（價格崩潰階段）。這樣廣告平臺就需要非常瞭解廣告主的估計，否則，價格不斷波動，流量會浪費很嚴重，廣告平臺的生意很容易就搞砸了。
廣義二階價格（GSP），這個二階的意思就是下一位的出價，一個廣告支付的錢是排在下一個位置的廣告的出價，用術語來說就是：第i個廣告位的廣告每次展示或者點擊（分別對應兩種競價方式，按展示收費或者按點擊收費）所付的費用，等於第i+1個廣告位的廣告出價加上一個很小的值（一般是0.01）。
這裏還是有兩種。一種是競價排序，根據廣告的出價倒序排列，被點擊的廣告主付他下一家的費用。另一種是收入排序，根據期望收益最大來排序，這裏的期望收益指的bid*ctr，被點擊的廣告主付的費用爲bid(i+1)*ctr(i+1)/ctr(i)；後面的那個ctr有時候也可以用score代替，即扣的費用計算公式也可以是bid(i+1)*score(i+1)/score(i)，當然扣費不能超過廣告的出價，也不能低於一個最小值（各個平臺自己定義的）。
收入排序方式目前是最常用的，組內也正在用。這樣的好處就是可以鼓勵廣告主優化自己的廣告質量，只要某個廣告比排在後面的廣告質量高很多，扣費就會特別少，反之就扣得多。
說到這裏，如果上面的工作完成得不錯了的話（ctr計算得很好了），相關工作其實已經完成了。這是不是意味着廣告算法工程師可以高枕無憂了呢？答案還是不行，因爲三個利益方還會有各種要求，這個就依賴下面的業務策略來解決了。
2.4 業務策略
上面說過，系統搭建工作完成了，廣告算法工程師還是不能高枕無憂。有什麼困擾呢？因爲三個利益方的各種要求還是很多的。
下面列一些吧
1、季末衝業績
在每個季度的末尾，因爲要發財報，要彙報等等，業務部門的壓力會過來，就需要臨時調整扣費策略或者排序方式來增加收入（各個公司不同）。
2、聰明的廣告主
一個新上線的廣告，一般通過冷啓動能獲取一些投放量（就是開始的ctr會估得不準，就用一些平均的值去代替，從而讓新廣告有一定的量）。廣告主都很聰明的，有些廣告主就建大量的新廣告計劃，從而得到了大量的投放量，但是這個廣告主的廣告質量很差（點擊率很低），大大影響了業務指標。這個問題是很久才排查到的，然後就對每一個廣告限制了廣告計劃數，系統就恢復了正常。
3、指標的犧牲
廣告平臺爲了建立口碑，同時改善用戶體驗，需要對自己的廣告進行質量把關。爲了完成這個工作，就需要對低質量的廣告（低點擊率）進行一些打壓策略，就是降低這類型廣告的投放量，往往是通過對排序中的那個score進行打壓得到的。打壓的方式很多種，好用的方法就是根據這個廣告的點擊率與整個平臺的整體點擊率相除，得到一個ratio，這個就是打壓的因子。
4、用戶的抱怨
對於大型媒體和平臺來說，還是要收集自己的用戶意見的。用戶會抱怨看到廣告，這個是沒有辦法的了，但是用戶如果抱怨的是整天看到同一個廣告，那就有問題了，這樣是不行的。對於廣告平臺來說，可以對用戶看同一個廣告主的廣告次數進行控制，讓用戶在一段時間內最多隻能看到同一個廣告主的廣告若干次（各個公司不同）。這起碼一定程度上減少了用戶的抱怨。做得更好一點的，對廣告進行歸類（聚類，相似的廣告聚到一起），對用戶看同一類型的廣告也有次數上的控制，效果也會更好一些。
以上的這些業務策略肯定不是閒着沒事想出來的，都是一些實實在在的線上問題排查的處理方法或者真的是被用戶抱怨多了收集來的，這些真是經驗。這可能也是廣告算法工程師在搭建完系統後沒有被老闆趕走的原因。
一個廣告系統的優化方向很多，經驗有限也不能一一列舉了。
致謝
多位互聯網博主如@Rickjin，@江申_Johnson等。
多位同事的指點。
參考文獻
[1] http://blog.csdn.net/chjjunking/article/details/20454343@ chjjunking的博文《GFP、GSP和VCG的特點和介紹》
[2] http://www.flickering.cn/ads/2014/06/%E7%BB%86%E6%95%B0%E5%B9%BF%E5%91%8A%E5%AE%9A%E5%90%91/#comment-105騰訊的廣點通的技術博客《細數廣告定向》
[3] http://www.techinads.com/archives/41江申_Johnson的博客