AB-TEST

流量正交

對與分層實驗有個很重要的點就是每一層用完的流量進入下一層時,一定均勻的重新分配。圖中的箭頭展示的很清晰,第一層中每個實驗的流量會重新分組進入到第二層中的每個試驗中。所以整個流量有一個分散,合併,再分散的過程,保證第二層中的每個實驗分配的流量雨露均沾,這就是所謂的流量正交。

從上圖可以看出,即使第1層的2號桶的實驗結果比其他幾個桶效果好很多,由於流量被離散化,這些效果被均勻分配到第2層。(第3層及後面層類同),這樣雖然實驗效果被帶到了下一層,但是每個桶都得到了相同的影響,對於層內的桶與桶的對比來說,是沒有影響的。而我們分析實驗數據,恰恰只會針對同一實驗內部的基準桶和實驗桶。

分層原則

通常來說有依賴關係的實驗點必須劃分在同一層,例如頁面背景顏色和字體顏色必須在同一層,如果頁面背景顏色和字體顏色都被設置成藍色,那麼我們就看不到頁面上的字了),沒有依賴關係的實驗點可以劃分在不同層,每個變量實驗點只出現在一個層中,不會出現在多層中。
如果按鈕顏色和背景顏色相同則不可讀

實驗(experiment) 是由零個或多個策略參數構成的,被用於改變傳入請求處理方式的過程。

我們在實驗平臺定義一個試驗(Exp)後,例如“界面實驗(UI Layer)”會分別爲其設置三組對照的實驗參數,這裏我們可以叫實驗組(Group),Red組、Blue組、Green組。

  • 流量

即用戶的訪問,也是實驗的樣本來源。

layer:在layer裏面包含一系列可以改變的參數。例如上面的實驗可以分成2個layer,layer1對應實驗1,layer2對應實驗2

基於多層實驗模型的流量分桶原理,ab平臺對其做了適當的簡化。我們定義每層一個實驗,各層之間流量正交。每個實驗受衆,可以理解爲一個。一個受衆可以用於多個實驗

論文翻譯
http://www.uml.org.cn/jchgj/2015011311.asp
什麼是AB-TEST
https://zhuanlan.zhihu.com/p/46837312
美團設計
https://tech.meituan.com/2019/11/28/advertising-performance-experiment-configuration-platform.html
谷歌是如何高效做AB實驗的
https://blog.csdn.net/shangpairen/article/details/105232249
AB實驗平臺在貝殼找房的設計與實踐
https://blog.csdn.net/GFJ0814/article/details/92422510

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章