A/B Test

改版到底有沒有用,別開會吵,直接讓流量投票。A/B 測試(A/B Test)把使用者隨機分成兩組,一組看舊版、一組看新版,用資料分勝負。

核心觀念

A/B Test 本質是線上隨機對照實驗:隨機分組讓兩組除了版本以外條件都相同,混雜因子被平均掉,差異才能歸因於改版本身。判讀看三個數:轉換率差異(絕對差多少)、Lift(相對提升幅度)、統計顯著性(這個差是真的還是雜訊)。

白話理解

零售電商測試新版「加入購物車」按鈕:A 組五萬人看舊版,B 組五萬人看新版,兩週後比較轉換率並做顯著性檢定 — 顯著提升才全量上線。

設計五步驟

1. 事先計算樣本量:依預期效果與檢定力反推;樣本不足,實驗等於白做
2. 隨機分組:分組邏輯不能和使用者屬性掛勾,否則自帶偏差
3. 跑滿實驗期間:至少涵蓋完整週期(平日加假日),不可提早偷看到顯著就收工
4. 多重比較校正:同時測多個版本或指標時,顯著門檻要調嚴,否則總有一個「碰巧」顯著
5. 結果解讀:統計顯著、Lift 又有商業意義,才值得上線

🎯 口訣:先算量、再隨機、跑滿期、多比要校正 — 順序錯,結論廢。

iPAS 考點

考「這個實驗哪裡做錯了」:提早停止實驗、分組不隨機、同測十個指標卻不做多重比較校正,都是經典錯誤選項。觀念題:A/B Test 能談因果的關鍵在隨機分派,不是樣本大 — 樣本再大,分組偏了照樣錯。