A/B 測試是遊戲行業常用的數據試驗方法，特別是有過遊戲出海經歷的企業，都嘗試過 A/B 測試：
-
商店 A/B 測試：在 Google Play 開發者後臺，通過 A/B 測試挑選最合適的遊戲圖標、商店圖、商店視頻和商店文案；
-
廣告投放 A/B 測試：在 Facebook 投放廣告素材時，通過 A/B 測試發現哪一個受衆羣體可以創造更高廣告價值；進行廣告投放的優化，確認哪一種投放方式/投放素材可獲得最佳成果；
-
廣告變現 A/B 測試：在變現聚合平臺調試廣告變現時，通過 A/B 測試尋找更合適的 Waterfall 配置等，尋找最佳的廣告觸發時機、廣告觀看獎勵、廣告播放形式等；
-
產品 A/B 測試：在遊戲產品研發與運營過程中，測試美術設計，如按鈕用什麼顏色、什麼形狀，NPC 用什麼造型、技能特效、抽卡表現等；
測試新手引導，調整新手階段的節奏、難度和特定的關卡設計；
測試界面佈局，如商城界面佈局，包括順序、大小、顏色和邊框等；
測試產品定價，確定哪些定價的硬通貨或者禮包對玩家更有吸引力；
測試變現入口，確定合適的變現入口，使得既可以獲得可觀的收益又不影響玩家體驗；
測試玩法機制，找到更吸引玩家的玩法，如調整 PVE 通關獎勵領取方式能否提升玩家體驗深度，副本增加隨機隱藏 BOSS 能否吸引玩家再次挑戰，PVP 不同匹配策略對玩家參與積極性有什麼影響。
本文將圍繞遊戲產品 A/B 測試，幫助遊戲企業及時瞭解每一個重要變動帶來的是積極還是消極影響，從而實現在版本迭代時達到更好的留存和收益。
接下來通過三個真實實踐案例，講述神策數據 A/B 測試如何幫助遊戲企業解決玩家轉化與參與度問題。
案例一：限時活動 A/B 測試，玩家遊戲進度大幅提升
某款休閒遊戲上線一段時間後，玩家付費逐漸乏力。策劃同學希望通過優化限時活動，刺激玩家付費，進而提升 LTV。目前限時活動設計爲：玩家在限定時間通過指定數量活動關卡即可領取活動獎勵。玩家挑戰活動關卡需要消耗體力、攻防增益等道具。道具不足時，可以通過內購商城、觀看廣告兩種方式來及時補充。策劃同學希望通過在活動中加入一些社交競爭元素，藉助相互攀比的心態，激勵玩家儘早通關活動關卡，提升收益（短期內消耗更多付費道具）。
在以往實踐中，將社交競爭元素用排行榜的形式來展現效果會更好。因此策劃同學設計了三版排行榜展示策略：
1、爲玩家展示相同地區其他玩家的活動進度；
2、爲玩家展示相似水平段位其他玩家的活動進度；
3、爲玩家展示相近剩餘體力其他玩家的活動進度。
同時，通過 A/B 測試進行策略驗證——將玩家分爲對照組和三個試驗組，各組玩家只能看到所屬組的排行榜展示形式：
-
對照組：此組玩家將不會被展示進度排行榜
-
試驗組 1：此組玩家將會被展示相同地區玩家的進度排行榜
-
試驗組 2：此組玩家將會被展示相似水平段位玩家的進度排行榜
-
試驗組 3：此組玩家將會被展示相近剩餘體力玩家的進度排行榜
圖 神策數據 A/B 測試設置試驗分組界面
然後，篩選試驗受衆玩家爲“活躍玩家”，設置試驗覈心指標爲“活動時間段內的人均收益”，設置試驗輔助指標爲“活動參與率”。
接下來，在進行爲期一週的觀察之後，發現試驗組 2 的置信區間在【+4.69%，+9.54%】，核心指標有顯著提高，因此，產品團隊將試驗組 2 的版本確定爲最新可發佈版本。
在該過程中，神策數據 A/B 測試解決方案能夠幫助遊戲企業結合用戶行爲分析，確定應對用戶變化的最優解決方案，最大化提升價值產出與效率。
案例二：通關獎勵展示形式的 A/B 測試，強化玩家粘性與遊戲深度
某 RPG 遊戲希望通過調整 PVE 關卡獎勵的領取方式，來提升玩家對 PVE 關卡獎勵的期待，刺激玩家持續參與關卡挑戰，從而提升玩家購買體力的可能性（挑戰關卡需要消耗一定體力）。當前玩家順利通關時，會展示通關獎勵，同時獎勵道具直接進入玩家包裹。針對此，策劃同學計劃在挑戰成功領取通關獎勵階段融入隨機機制，增加闖關樂趣，設計了兩種通關獎勵領取方式：
1、通關成功後，爲玩家彈出大轉盤。玩家轉動轉盤後，可以獲得指針停留的道具，大轉盤內的道具與直接展示相同；
2、通關成功後，爲玩家彈出三個寶箱。玩家可以選擇任一寶箱獲取裏面的獎勵，選擇之前無法看到寶箱內道具信息，寶箱內道具配置與直接展示相同。
爲了快速識別到最優的通關獎勵領取方式，策劃同學通過 A/B 測試觀察各個策略的數據結果輔助決策，將玩家分爲對照組和兩個試驗組，各組玩家只能看到所屬組的獎勵領取方式：
-
對照組：直接展示關卡獎勵，玩家直接領取獎勵
-
試驗組 1：以轉盤形式展示獎勵，玩家通過旋轉轉盤領取獎勵
-
試驗組 2：以三寶箱形式展示獎勵，玩家通過選擇任一寶箱領取獎勵
在該試驗中，篩選試驗受衆用戶爲“新註冊玩家”，試驗覈心指標爲“人均關卡通過次數”，試驗輔助指標爲“人均在線時長”，綜合觀察指標變化後，發現試驗組 1 玩家平均通過關卡次數爲 11.91 次，試驗組 2 玩家平均通過關卡次數爲 12.27，均明顯高於對照組直接展示關卡獎勵的 11.2 次。因此，該遊戲團隊將試驗組 2 作爲正式版本對外發布。
案例三：新手限時禮包展示時長的 A/B 測試，有效提升玩家購買率
某策略遊戲的策劃團隊對於新手限時禮包的購買率不太滿意，希望通過策略優化實現購買率提升。
目前，該遊戲的新手禮包限購時長爲 3 天，因此，策劃同學計劃通過調整禮包限購時長來營造緊張感，刺激玩家購買，從而提升禮包購買率。按照這一思路，策劃同學設計了一次 A/B 試驗，將當前限時 3 天購買的新手禮包作爲對照組，將限時 2 天購買的新手禮包作爲試驗組 1，將限時 1 天購買的新手禮包作爲試驗組 2，將限時 7 天購買的新手禮包作爲試驗組 3。各組禮包內的道具都一樣。
在進行試驗的過程中，篩選試驗受衆用戶爲“新註冊用戶”，設置試驗覈心指標爲“禮包購買率”，設置試驗輔助指標爲“禮包查看次數”。
經過觀察與分析試驗效果發現，對照組與試驗組的禮包購買率分別如下：
可以看出，試驗組 2 的禮包購買率相較於對照組提升明顯，能夠最大限度滿足此次改版需求。
此次試驗中，該遊戲企業通過神策數據的 A/B 測試解決方案，能夠覆蓋完整用戶操作觸點，並得益於 One ID 映射方案，輕鬆實現用戶跨端識別。與此同時，運營同學可以將一份流量克隆爲多份，流量複用，面向同一個玩家同時進行多個試驗；也可以將一份流量分割爲多份，分配給多個試驗使用，同時保證各試驗流量相互隔絕，保持流量互斥；除此之外，還可以將一份流量拆分爲多組，分配給多個試驗版本使用，並靈活調整各組分配比例，基於此實現一份流量、多份使用，大幅提升試驗並行數量。
綜上，神策數據 A/B 測試能夠幫助遊戲企業在研運過程中，以更低成本做更多、更精準的試驗，驅動科學決策的誕生。