本文是《數據蛙三個月強化課》的第四篇總結教程，如果想要了解數據蛙社羣，可以閱讀給DataFrog社羣同學的學習建議。溫馨提示：如果您已經熟悉數據分析指標,大可不必再看這篇文章，或是隻挑選部分文章
閱讀路線
- 什麼是AB測試？
- AB測試的基本步驟
- 影響AB測試結果準確性的因素
- 根據收集到的24天的數據進行AB測試檢驗（實戰）
一：什麼是AB測試？
這裏我們把範圍限制到互聯網公司的AB測試中，是將Web或App界面或流程的兩個或多個版本，在同一時間維度，分別讓類似訪客羣組來訪問，收集各羣組的用戶體驗數據和業務數據，最後分析評估出最好版本正式採用。
二：AB測試的基本步驟
AB測試是一個反覆迭代優化的過程，它的基本步驟如下圖所示可以劃分爲：
現狀分析並建立假設：分析業務數據，確定當前最關鍵的改進點，作出優化改進的假設，提出優化建議；比如說我們發現用戶的轉化率不高，我們假設是因爲推廣的着陸頁面帶來的轉化率太低，下面就要想辦法來進行改進了
設定目標，制定方案：設置主要目標，用來衡量各優化版本的優劣；設置輔助目標，用來評估優化版本對其他方面的影響。
設計與開發：製作2個或多個優化版本的設計原型並完成技術實現：
分配流量：確定每個線上測試版本的分流比例，初始階段，優化方案的流量設置可以較小，根據情況逐漸增加流量。
採集並分析數據：收集實驗數據，進行有效性和效果判斷：統計顯著性達到95%或以上並且維持一段時間，實驗可以結束；如果在95%以下，則可能需要延長測試時間；如果很長時間統計顯著性不能達到95%甚至90%，則需要決定是否中止試驗。
最後：根據試驗結果確定發佈新版本、調整分流比例繼續測試或者在試驗效果未達成的情況下繼續優化迭代方案重新開發上線試驗
三：影響AB測試結果準確性的因素
- 樣本數量：流量樣本的數量不能過少
如果試驗進行1周然後考察試驗結果，這時試驗的結果就很容易受到某些異常樣本的影響，譬如說某個土豪老王恰好分在了試驗組然後購買了一個高價值的東西，那麼老王的購買行爲就可能帶偏整個測試組的統計結果。
- 樣本質量：分流出的樣本是否有效
例如，依舊是購物車復購的案例，假設樣本數量足夠多，但很不巧的是恰好實驗組裏大部分都是老王這樣的土豪，那麼結果依舊會產生偏差。這個時候我們還需要更進一步確定，實驗組裏究竟有沒有這樣的意外因素。
解決這個問題有個很好的方式：參考文章AA測試部分
四：根據收集到的24天的數據進行AB測試檢驗（實戰）
0：背景：我們現在網站也給開通了，然後我們給網站投放廣告的時候，一開始給大家看到的落地頁是訪問課程資料,現在我們又推出了開始免費試學這個落地頁，然後想着以後換上新的落地頁，這時候就要檢測兩個落地頁的轉化效果了，下面是測試的24天，看數據會有24天的。
1.讀取數據（文末有鏈接）
user_id是用戶的id;timestamp 是用戶訪問頁面的時間;group 表示把新的落地頁分到treatment組、把舊的落地頁分到了control組;landing_page表示的是落地頁;converted 表示的是否轉化,1表示轉化;
2.這裏我們觀察下數據集，每一列下面都沒有空值,並且一共有294478條數據
3.其實對於 treatment 和 new_page ，或者control 和old_page 會出現不一致的行
4.對於上面的不一致的,我們要處理掉，讓數據符合我們的測試
5.我們再看下有沒有重複的用戶
6.去除重複值
7.我們再來看下落地頁轉化率情況
這裏我們能夠看到new_page轉化率是0.11880806551510564;old_page轉化率是0.1203863045004612;總的轉化率是0.11959708724499628
8.我們來看下如何進行假設檢驗
（1）理解A/B-test顯著性檢驗
隨機將測試用戶羣分爲2部分，用戶羣1使用A方案，用戶羣2使用B方案，經過一定測試時間後，根據收集到的兩方案樣本觀測數據，根據顯著性檢驗結果選取最好方案。
爲了下文方便說明，我們不妨設A方案爲參考方案（或舊方案），B方案爲實驗方案（或新方案）。
（2）建立原假設和備擇假設
（2）構建檢驗統計量
下面是要花一點時間來解釋下來爲什麼能夠得出這樣的檢驗統計量
接下來我們還要補充下面的一個知識點
所以檢驗統計量如下：
（3）顯著性檢驗結論
-
第一種方法
![]()
z-socre 是 1.3109241984234394,P-value 0.09494168724097551 < 0.05 所以不能拒絕原假設
-
第二種方法
![]()
1- norm.cdf(z_score1) 也是小於 0.05 的
所以截至到目前並沒有證據可以證明某一頁面可以帶來更多的轉化率，這裏我們就需要再延長觀測時間或是修改新的頁面再進行測試了
參考鏈接：
0.實戰數據集
1.python單樣本假設檢驗實例
2.A/B-test顯著性檢驗
3.A/B測試知識點總結
4.分析 A/B 測試結果