計算廣告-系統結構組成

計算廣告技術:
一、個性化系統與搜索系統介紹

有很多大數據驅動的產品,就其技術架構而言,往往落地成個性化系統,即根據用戶、上下文的一些信息動態決定返回什麼內容的系統。計算廣告是一個典型的個性化系統。

個性化系統與搜索系統都是互聯網時代具有挑戰性的大規模計算問題。由於數據規模的要求:一般採用檢索+排序這樣類搜索的系統架構。
兩者的差別:在於大量的用戶特徵的使用。

常用方案:將離線的分佈式計算平臺(需要對每一個用戶進行刻畫)和在線的流計算平臺(實時地利用線上數據)相結合。

二、個性化系統框架

計算廣告是根據用戶個體用戶信息投送個性化內容的典型系統之一,類似的系統還有推薦系統,個人徵信系統以及室內導航系統等。

個性化系統的構成:
     1、用於實時響應請求,完成決策的在線投放(online serving)引擎;
     2、離線的分佈式計算 (distributed computing)數據處理平臺;
     3、用於在線實時反饋的流計算( stream computing)平臺;
     4、連接和轉運以上三部分數據流的數據高速公路(data highway)
     這四部分相互配合,完成個性化系統的數據挖掘和在線決策的任務。

四大部分的協作流程:
     在線投放系統的日誌接入數據高速公路,再由數據高速公路快速轉運到離線數據處理平臺和在線流計算平臺;
     離線數據處理平臺週期性地以批處理方式加工過去一段時間的數據,得到人羣標籤和其他模型參數,存放在高速緩存中,供在線投放系統決策時使用;
     與此相對應,在線流計算平臺則負責處理最近一小段時間的數據,得到準實時的用戶標籤和其他模型參數,也存放在高速緩存中,供在線投放系統決策時使用,這些是對離線處理結果的及時補充和調整。

強調:由於個性化需要的是對用戶儘可能準確的理解,因此除了個性化系統本身的日誌,一般還會用到其他的業務數據或採買的數據,這些數據都會進入到數據高速公路以及後續的加工流程中。

英文表示:
     GD: 擔保式保量投放
     DSP:需求方平臺

     核心驅動力:在一個完整的廣告系統架構中,數據的記錄、交易、流轉、建模和使用,因爲這些是廣告系統最核心的驅動力,也從本質上決定了廣告產品的變現能力和利潤空間。

     廣告投放引擎:
          必不可少的部分是一個實時響應廣告請求,並決策廣告的投放引擎。採用類搜索的架構,即檢索加排序的兩階段決策過程。另外,,廣告搜索引擎還有個獨特的模塊,就是要從全局優化的角度對整體收益進行管理。
          主要模塊:
               1)、廣告投放機(ad server):採用類搜索的投放機架構,即先通過倒排索引從大量的廣告候選中得到少量符合條件的或相關的候選,再在這個小的候選集上應用複雜而精確的排序方法找到綜合收益最高的若干個廣告。
          最重要的指標是每秒查詢數(query per second ,QPS)以及廣告決策的延遲(latency)
               2)、廣告檢索(ad retrieval):根據用戶標籤與頁面標籤從廣告索引中查找符合條件的廣告候選。廣告檢索得到的候選將被送入到廣告排序模塊。
               3)、廣告排序(ad ranking):在線高效地計算廣告的eCPM,並進行排序的模塊。eCPM的計算主要依賴於點擊率估計,這需要用到離線計算的CTR模型和特性(CTR Model & Features),有時還會用到流計算得到的實時點擊率特徵(real-time features) 
               4)、收益管理(yield manament):以全局收益最優爲目的做調整的功能。
               5)、廣告請求接口
               6)、定製化用戶劃分
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章