程序化廣告（6）：相關技術

本系列文章是對《程序化廣告 - 個性化精準投放實用手冊》一書的簡單總結，整理了書中重要的知識點和概念，希望能有助於理解互聯網廣告業務。
主要分爲6個章節（點擊前往）：

1. 概述
2. 參與者
3. 交易模式
4. 考覈指標
5. 廣告投放
6. 相關技術（當前所在）

第六章、相關技術

（一）RTB競價邏輯

1、競價邏輯

廣告呈現的整個流程：

• 說明：

  • 競價請求一般會攜帶的信息：時間、請求識別號、IP地址、網頁URL、廣告位識別號、廣告位頻次、廣告位寬高、廣告位類型、廣告位底價、訪客來源、媒體分類、UA信息、人羣標籤ID、操作系統、硬件信息、地區等。
  • 廣告投放管理平臺：廣告主在廣告投放管理平臺設置投放時間、預算、地區定向、用戶屬性等投放策略。
  • 算法引擎：主要的決策部分，主要圍繞投放需求、媒體質量、人羣屬性、創意內容、用戶場景、市場環境（競爭激烈程度）細分不同維度，並通過不斷升維和降維進行自動調優。
  • 競價過濾：根據廣告主設置的投放條件和KPI要求以及流量質量等進行過濾。另外，有反作弊能力的還會對作弊流量進行過濾。

2、AdX/SSP競價結算規則

• 廣義第二價格（Generalized Second Price，簡稱GSP），即出價最高的贏得競價，用比出價第二高多0.01元的價格進行結算。
  • 表面上使用最高價結算可以讓媒體收到更高的價格，賺到更多錢。但實際上，這種模式會讓大家趨向於往低報。
  • 在RTB競價環境中“出價即定輸贏”，因此每個買家都想用最合適的價格贏得流量。而使用第二高價結算即還有另外一個買家願意出相同的價格，符合買家的“最合適的價格”心理，競價會更積極主動。

3、AdX/SSP底價規則

• 固定底價：爲廣告位設置一個固定底價，DSP出價高於該底價時才能獲得競拍資格
• 雙重底價：廣告位底價統一爲0，同時設定隱性底價（僅用於區分結算模式，假設爲2元）。當出價價格大於0而低於2時，則用最高價結算；當出價價格大於2時，則用次高價結算。
• 靜態多重底價：根據流量的不同屬性、廣告主的不同行業設置不同底價。
• 動態多重底價：根據廣告質量動態地設置不同底價，如點擊率高的廣告可能獲得更低的底價，從而促使其增加投放量。

4、DSP內部競價排名規則

• 在滿足參與競價條件的衆多廣告主中，根據內部平臺每個廣告活動的出價方式及數值、點擊率、轉化率進行計算，預估eCPM並對其進行排序，再將勝出者的出價返回給廣告交易平臺。

  • eCPM：有效CPM，由算法通過動態點擊率pCTR或轉化率pCVR預估

  • 點擊率和轉化率：通過離線模型和實時模型計算得出

5、競價相關指標

• 競價請求量、預過濾後請求量、實際發送請求量、實際發送率、出價次數、出價率、放棄競價次數、放棄競價率、有效競價次數、無效競價次數、響應超時次數、響應超時率、解析錯誤次數、成功競得次數、成功競得率、曝光次數、曝光率、競價失敗次數、競價失敗率、使用率

（二）流量對接

對接和升級AdX/SSP之前，都需要先評估其流量質量、流量規模、技術成熟度等。

1、DSP與AdX/SSP對接

1. AdX/SSP基本情況確認：競價計費模式、資源量級、PC:移動比例、IOS:Android比例、eCPM、eCPC、CTR、廣告位類型和佔比、點擊跳轉邏輯、是否提供CDN、是否提供視頻頻道分類、IDFA/iMEI/Android-ID支持情況、是否提供DMP、行業限制
2. 競價接口確認：媒體分類信息、上網類型定向、設備類型定向、設備品牌定向、設備型號定向、操作系統定向、運營商定向、LBS（經緯度）定向、是否需要審覈第三方檢測、動態創意、自定義代碼、是否含RTB市場、PD/PA/PDB支持情況、訂單接口同步、Cookie Mapping支持、廣告位同步接口、創意尺寸特殊處理
3. 創意及審覈接口確認：審覈接口、修改接口、審覈機制、行業分類、創意類型、視頻創意格式、提供CDN、圖文創意說明、落地頁是否支持302跳轉、應用下載是否要中間頁、曝光監測、點擊檢測、https協議要求、代碼投放說明、動態代碼支持情況、重新送審、mraid協議支持、deeplink支持、Cookie Mapping支持
4. 資質及審覈接口確認：審覈接口、行業分類、是否分開送審
5. 流量日誌字段確認

2、Trading Desk對接DSP

• 一般來說，DSP爲第三方Trading Desk平臺（3rd Party Trading Desk，簡稱TD）提供的對接接口分爲API和Pre-bid兩種方式：
  • API接口：由DSP方提供報表查詢或設置投放策略的API接口，TD方進行開發，將API接口整合進TD。
  • Pre-bid對接：DSP在出價前，將流量轉發給TD詢問是否出價，TD結合投放策略設置及自有DMP數據進行出價決策，並將決策結果返回給DSP。通過TD平臺進行活動策略設置。

對接方式	設置平臺	出價決策方
API - 報表查詢	DSP平臺	DSP方
API - 報表查詢及策略設置	TD平臺	DSP方
Pre-bid對接	TD平臺	TD方

• 測試：
  • 延遲性測試：Pre-bid的對接對響應時間要求較高，雙方對接前一般需要先進行延遲性測試。
  • 對接測試：在正式投放前使用TD進行小量投放並測試對數，看雙方數據的差異值是否在標準範圍內。

3、PDB對接

1. 100%採購模式：訂單是按需求量進行100%採購。投放起來簡單，但不能夠挑選受衆，可能會導致廣告費用的浪費。
2. 1:1.5退量模式：訂單按一定需求量並按約定退量比進行採購。可挑選挑選目標受衆，流量質量會更高。但對廣告投放平臺的技術有較高要求，需要做好退量計算和把控。
   • 最優的退量算法是確保能夠投放到儘可能多的目標人羣，並且保證整體退量比。
   • 算法技術的關鍵點在於：結合目標退量比例、歷史退量比例、上一分鐘的退量比例，實時（分鐘級）動態調整出價比例。

（三）用戶識別與ID映射

1、用戶識別原理

• PC端通常用cookie作爲“人”的唯一標識，爲每個“人”打標識的技術在業內叫“種cookie”。有以下缺點：
  • 生命週期短，一般3個月左右就會過期，或者被軟件清理。
  • 不同瀏覽器的cookie是獨立的，當用戶使用多個瀏覽器查看頁面，系統無法識別爲同一個用戶。
  • 不同技術平臺的cookie是從屬於各自域名的，且命名規則也不同。因此各平臺之間無法共享數據，除非建立cookie映射關係。
• 移動端相對較穩定，一般用唯一設備號ID：安卓用Android-ID或者IMEI號識別，iOS用IDFA號識別。
  • 相較於PC端“種”cookie的方式，設備號ID週期較穩定，且各技術平臺獲取的設備號ID都是一致的。

2、cookie映射(cookie mapping，CM)

• 通過cookie映射技術可以將不同平臺的用戶信息對應起來，涉及CM代碼（一般爲URL形式）的部署，需要關注3個問題：誰埋CM代碼？埋誰的CM代碼？何時埋CM代碼？
  1. AdX與DSP間的cookie映射：兩種情形
  2. DSP與DMP間的cookie映射
  3. DSP與廣告服務平臺間的cookie映射
  4. AdX與DMP間的cookie映射

3、移動設備ID映射

• 一般情況下，移動設備ID不需要mapping映射，但部分AdX發給DSP的ID會採用加密方式（如md5加密），因此，DSP方需要將競價請求中的加密ID與原始ID進行映射。

4、衡量指標

• 衡量DSP購買精準人羣的實力時，通常會考量DSP與AdX或其他數據供應方之間的CM比例及“人羣匹配率”。
  • cookie mapping比例越高，代表需求方平臺能識別的人羣越大。
  • 匹配率越高，人羣標籤在流量池中被命中的概率就越大，需求方平臺纔有可能大面積地覆蓋所需人羣。

（四）程序化創意

程序化創意，就是實現從創意製作到投放優化整個過程的程序化。針對不同受衆、不同消費需求，利用程序自動生成個性精準創意。

1、DCO原理（動態創意優化）

• 根據用戶的標籤屬性匹配相應的創意，並根據他們的行爲實時調整策略，自動選擇最優方案：

2、創意製作流程

• 爲了實現程序化自動批量生成創意，我們需要在創意管理平臺製作和管理創意。創意基本框架（稱爲創意模板）的內容可以分成5部分：

  • Key Vision（主視覺）：顯示創意的主要內容，通常是指商品圖片。
  • Logo（品牌標識）：用於顯示廣告主的Logo。
  • Information（文案說明）：主視覺的補充說明信息，通常是商品名稱、價格、折扣信息等。
  • Call to Action（行爲召喚）：與用戶進行互動，一般是轉化通道，如下載、註冊、購買按鈕等。
  • Background（背景圖）：一般用來美化襯托創意。

• 創意製作流程：

  1. 上傳各元素內容，形成物料庫。具體包括Logo、商品信息（圖片、名稱、價格、折扣等）、按鈕等
  2. 製作模板，定義好尺寸比例、各元素的位置及內容來源等。
  3. 設置創意規則，比如對女性用戶展示模板A、商品內容爲該用戶加入到購物車的信息、每個動態創意自動輪播展示5個商品、商品展現順序按熱銷度降序排列等。
  4. 將模板和規則應用到廣告投放，程序化自動生成創意展現給用戶。

3、商品信息庫對接

• 常用的商品庫對接方式有FTP、FEED、JS代碼形式這三種：
  • FTP方式：數據提供方通過離線傳輸文件的方式發送商品信息給PCP平臺。
  • FEED方式：通過URL拉取商品信息。又分爲xml方式和json方式。
  • JS代碼：通過代碼同步商品信息。

4、對接DSP

• PCP的動態創意代碼一般是HTML代碼片段，形式有JS、Iframe和普通HTML。PCP的動態創意代碼需要帶上DSP提供的點擊宏。初次使用時，需要測試DSP是否能夠正確支持PCP代碼的創意展示

（五）用戶數據中心

1、DMP原理

2、用戶畫像邏輯

• 人羣標籤原理：
• 用戶標籤生成及優化過程：

3、Look Alike原理

• 基於種子用戶的瀏覽興趣和廣告行爲找出相似用戶，即找出種子用戶與哪些人羣更相似，從而擴大目標投放人羣。

4、DMP對接DSP

（六）數據統計原理

1、網站統計邏輯

2、App統計邏輯

• [外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-FTbZltDl-1574228351750)(/Users/wangkai/Library/Caches/calibre/ev2/f/tmpa5AsrD/images/00192.jpg)]

3、S2S對接（Server To Server，服務器對服務器）

4、第三方廣告監測

1. 監測分爲曝光監測、點擊監測、落地頁監測（站內監測）。
   • 曝光和點擊監測代碼常以URL形式提供，曝光監測URL通常是1×1的透明像素圖片。
   • 廣告在客戶端產生曝光時，會觸發曝光監測URL完成曝光監測計數。
   • 點擊監測URL分爲同步點擊監測和異步點擊監測
     • 由於觸發代碼的先後順序不同以及代碼觸發機制不同，會導致同步監測下，廣告投放平臺監測數據一定大於等於第三方監測數據。
   • 站內監測需要加特定代碼。網站監測一般是加JS代碼（可以用1像素統計代碼替代），App監測一般是加SDK代碼。代碼分爲基礎代碼、事件代碼：
     • 基礎代碼：用於流量的統計，如PV、停留時間等，一般加到網站編碼的<head>標籤中。
     • 事件代碼：用於行爲事件統計，如按鈕點擊、註冊、分享、購買等。還可以用於收集用戶數據，在重定向投放時使用。
2. .第三方數據差異問題及原因：

5、DSP數據處理系統架構

（七）廣告驗證

1、反作弊

1. 作弊環節：曝光、點擊和轉化（包括但不限於註冊、激活、互動、購買等）。
2. 作弊方式
   1. 假用戶 ：一般是利用機器人，不斷地變換IP、cookie甚至設備ID等來僞裝成不同的“用戶”去刷廣告頁面或點擊廣告。
   2. 真用戶假流量 ：利用真實的用戶設備，使得作弊流量的用戶屬性特徵更接近真實流量。常見手段有：廣告堆疊、歸因作弊、廣告容器設置爲1×1像素、利用插件植入不可見的廣告位置、“肉雞”刷廣告、僱傭“槍手”刷廣告等。
   3. 真用戶真流量 ：用劣質流量濫竽充數賣高價；或是通過http或者DNS進行流量劫持，不完全算是作弊流量，稱之爲“非法流量”可能更準確。
3. 常見作弊現象
   • 可離線解決的作弊：
     • 一個cookie對應超過N個IP或設備ID。
     • 一個設備ID對應N個以上IP或userAgent。
     • 點擊的refererurl包含display_ad.php。
     • 有點擊無曝光的IP。
     • 點擊率異常的IP和設備ID（如：移動端大於10%或PC端大於6%且點擊量大於30）。
     • 廣告位的曝光或點擊集中在少量IP、cookie或者設備ID，可能是作弊廣告位。
     • 頁面停留時間大於平均水平。
     • PC端平均窗口大小指標小於70萬像素或大於110萬像素，或移動端PC端平均窗口大小指標小於1萬像素或大於50萬像素。
   • 可實時解決的作弊：
     • 某個cookie在N分鐘內使用的IP超過N個。
     • 某個cookie在N分鐘內點擊超過N次。
     • 所有userAgent出現java、python關鍵字直接拉黑。
4. 反作弊方法
   • 用戶標識：根據IP、cookie（或設備ID）作爲分辨用戶的依據，統計是否存在高頻次或高頻率的曝光或點擊。
   • 用戶行爲：
     • 對用戶的廣告瀏覽頻次/頻率和點擊的頻次/頻率進行分析。
     • 綜合考量用戶留存、停留時間，訪問深度等指標，用於分析轉化用戶的質量。
   • 廣告來源：對到站流量進行來源頁面（一般叫refer）的偵查，將refer數據與投放媒體進行匹配。

2、品牌安全

• 品牌廣告的投放需要品牌安全的保障，通常會有專門的品牌安全供應商（廣告驗證平臺）提供該項服務。廣告主通過廣告驗證平臺設置敏感或非法的關鍵詞/頁面的黑名單，投放時過濾此黑名單的流量。·
• DSP平臺需要提前對接好這些廣告驗證平臺，用於支持品牌廣告的投放，分爲Pre-bid和Post-bid，可以理解爲競價前和競價後的品牌安全。

3、可見度測量

• 可見度是通過JS代碼來檢驗當前頁面的位置以及可視面積的。

• 可見度相關指標有可監控曝光次數、可視曝光次數和可視率。不可監測曝光的情：

  • 部分媒體不支持JS代碼投放。
  • 媒體的廣告位是跨域iframe形式，JS無法檢驗跨域情況下廣告位的位置和可視面積。

• 在App環境裏，由於廣告位是基於webview的，整個廣告位可以當成是一個完整的頁面，即可視面積是100%，因此移動端的Viewability並不十分準確。

（八）算法優化