什麼是 A/B 測試？
A/B 測試什麼時候用？
如何應用 A/B 測試？
什麼是A/B 測試
A/B 測試是最簡單的對照實驗方法，可以用來對產品的兩個版本進行比較。
將用戶隨機分成兩組，這樣兩組數據可以來自同一分佈。
一組叫做對照組，使用產品的舊版，一組叫做實驗組，使用產品的新版。
兩組同時做線上測試，然後採集指標，分析結果，
什麼時候需要用到A/B 測試
當要決定一個產品或者新功能是否真的可以上線時，就要做A/B 測試，我們要看這個新的產品或者新的特徵是否會對一些商業指標產生影響，A/B 測試的結果決定了產品是否可以上線。
當產品模式比較成熟，進入快速迭代的階段時，用
A/B 測試的效果比較明顯。
如何應用A/B 測試
A/B 測試的一般流程爲：
首先明確需要進行測試的特徵是什麼
然後要正確的定義指標，比較常見的重要的指標如點擊率，轉化率，例如，我們想看如果把某產品主頁上免費體驗會員的按鈕顏色由紅色改成綠色，是否會增加轉化率。
做出假設，例如按鈕由紅色變成綠色，會有更多人願意點擊
設計測試計劃，包括提升目標，測試的系統，地點等等。
相關部門溝通協作，比如要改界面需要和UI工程師溝通。
運行測試方案
分析測試結果，看數據結果對不對，評估指標有沒有變化，有沒有達到顯著性水平，對其他指標有沒有影響
得到結論，例如點擊率提高了多少，轉化率提高了多少，而且對其他的特徵沒有影響，然後制定相應的商業計劃。
用一個具體例子來看：
例如 A 組有 2000 個樣本，有200個樣本轉化，
B 組有1943個樣本，有298個樣本轉化，
我們希望達到的 Confidence level 是95%，
希望 significance 是0.03。
首先計算A和B的轉化率：
Pa=200/2000=0.1,
Pb=298/1943=0.153
再計算一下 difference=0.153-0.1=0.053
然後計算 standard error=0.0106
根據公式計算它的 Confidence Interval=(d-m, d+m)=(0.0326, 0.0741）
0.0326>0.03
那麼就可以上線這個功能。
學習資料：
《百面機器學習》