流量正交
對與分層實驗有個很重要的點就是每一層用完的流量進入下一層時,一定均勻的重新分配。圖中的箭頭展示的很清晰,第一層中每個實驗的流量會重新分組進入到第二層中的每個試驗中。所以整個流量有一個分散,合併,再分散的過程,保證第二層中的每個實驗分配的流量雨露均沾
,這就是所謂的流量正交。
從上圖可以看出,即使第1層的2號桶的實驗結果比其他幾個桶效果好很多,由於流量被離散化,這些效果被均勻分配到第2層。(第3層及後面層類同),這樣雖然實驗效果被帶到了下一層,但是每個桶都得到了相同的影響,對於層內的桶與桶的對比來說,是沒有影響的
。而我們分析實驗數據,恰恰只會針對同一實驗內部的基準桶和實驗桶。
分層原則
通常來說有依賴關係的實驗點必須劃分在同一層,例如頁面背景顏色和字體顏色必須在同一層,如果頁面背景顏色和字體顏色都被設置成藍色,那麼我們就看不到頁面上的字了),沒有依賴關係的實驗點可以劃分在不同層,每個變量實驗點只出現在一個層中,不會出現在多層中。
如果按鈕顏色和背景顏色相同則不可讀
實驗(experiment)
是由零個或多個策略參數構成的,被用於改變傳入請求處理方式的過程。
我們在實驗平臺定義一個試驗(Exp)
後,例如“界面實驗(UI Layer)”會分別爲其設置三組對照的實驗參數,這裏我們可以叫實驗組(Group)
,Red組、Blue組、Green組。
- 流量
即用戶的訪問,也是實驗的樣本來源。
layer:在layer裏面包含一系列可以改變的參數。例如上面的實驗可以分成2個layer,layer1對應實驗1
,layer2對應實驗2
。
基於多層實驗模型的流量分桶原理,ab平臺對其做了適當的簡化。我們定義每層一個實驗
,各層之間流量正交。每個實驗受衆,可以理解爲一個域
。一個受衆可以用於多個實驗
。
論文翻譯
http://www.uml.org.cn/jchgj/2015011311.asp
什麼是AB-TEST
https://zhuanlan.zhihu.com/p/46837312
美團設計
https://tech.meituan.com/2019/11/28/advertising-performance-experiment-configuration-platform.html
谷歌是如何高效做AB實驗的
https://blog.csdn.net/shangpairen/article/details/105232249
AB實驗平臺在貝殼找房的設計與實踐
https://blog.csdn.net/GFJ0814/article/details/92422510