實驗規劃

很多團隊等模型上線才想證明成效,一回頭發現根本沒留對照組。實驗規劃就是在專案起點防住這種「事後才發現資料不足」的悲劇。

核心觀念

問題定義階段就要決定:需不需要 A/B 測試(A/B Test)驗證成效?需不需要因果推論(Causal Inference)回答「是不是因為我們的改動才變好」?兩者都對資料收集有硬性要求——隨機分組、對照組、足夠樣本——不事先設計,事後補不回來。

白話理解

電商想驗證新推薦演算法。正確做法:上線前規劃 A/B 測試,把用戶隨機分成新舊兩組比較轉換率。錯誤做法:全站直接換新版,一個月後比較前後數據——季節、行銷活動全混進來,功勞說不清。

規劃時要算清楚

• 統計檢定力(Statistical Power):實驗偵測出真實差異的能力;樣本太少會「有效果卻測不出來」
• 效果量(Effect Size):預期差異多大?差異越小,需要樣本越多
• 樣本數與實驗期間:由檢定力與效果量反推,不是拍腦袋
• 隨機分組機制:分組不隨機,結論就不可信
• 要不要因果:只做預測可以不實驗;要宣稱「因為所以」,就必須隨機實驗或因果設計

🎯 口訣:要說「有效」,先留對照組;檢定力不夠,做了也白做。

iPAS 考點

情境題:「想驗證新功能是否提升轉換率,最適當的做法?」答案指向隨機分組的 A/B 測試。陷阱選項:「直接比較上線前後數據」(混淆因素干擾)、「憑主管經驗判斷」。看到因果兩字就想到對照組與隨機化;看到「樣本太少就下結論」就想到統計檢定力不足。