A/B testing

A/B testing的概念

A/B testing（A/B 測試）可以說是灰度測試的一種，簡單來說，就是爲同一個目標制定兩個方案（比如兩個頁面），讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用情況，看哪個方案更符合設計。

使用A/B 測試首先需要建立一個測試頁面（variation page），這個頁面可能在標題字體，背景顏色，措辭等方面與原有頁面（control page）有所不同，然後將這兩個頁面以隨機的方式同時推送給所有瀏覽用戶。接下來分別統計兩個頁面的用戶轉化率，即可清晰的瞭解到兩種設計的優劣。

• 傳統的A/B測試，是一種把各組變量隨機分配到特定的單變量處理水平，把一個或多個測試組的表現與控制組相比較，進行測試的方式。

• 新的A / B測試，不僅僅其範圍限制在web分析方面，而是爲其注入新生命，即移動設備端分析，移動分析已成爲A/B測試增長最快的一個領域。

A/B測試的應用舉例

以一個電商App的場景爲例。App集成了SDK之後，就可以在AB測試控制檯創建很多“測試版本”，每個測試版本可以嘗試不同的UI設計和文案。客戶可以在控制檯管理不同測試版本的試驗運行狀態、流量分配以及查看詳細的數據報告，並選擇發佈效果更好的測試版本。

假如這個App有100萬在線用戶，通過控制檯可以控制這些用戶看到不同的測試版本。假如其中50萬用戶看到左邊版本，產生了10萬購買；另外50萬用戶看到右邊版本，產生了40萬購買。這個試驗數據說明右邊版本產生的轉化率更高，可以通過控制檯將這個版本推廣到所有100萬用戶。

其中最重要的就是產品優勢，科技在A/B測試引擎的流量分割方面下了很多功夫，可以儘量保證試驗用戶流量的代表性和試驗數據的準確性，同時支持試驗流量動態控制、多變量組合試驗、大量並行試驗、針對特定人羣的定向試驗等。