機器學習知識地圖 · 評估指標
評估指標
準確率、F1、Log Loss
觀念教學
分類模型說「這筆是詐欺」,你怎麼知道它可信?準確率只是入門 — 真正的驗收,要看你怕漏抓還是怕誤殺。
核心觀念
分類評估的地基是混淆矩陣:預測結果拆成真陽性、假陽性、真陰性、假陰性四格,各指標都從這裡長出來。另一路是 Log Loss(對數損失):衡量機率預測品質,預測機率越接近真相分數越低,同時它也是邏輯迴歸訓練時優化的核心指標。
白話理解
銀行詐欺偵測:一萬筆交易只有 50 筆詐欺,模型全猜「正常」,準確率還有 99.5% — 漂亮但沒用。這就是類別不平衡下準確率的騙局,必須改看精確率、召回率、F1 與 AUC-ROC。
指標怎麼挑
- 準確率(Accuracy):整體正確率,類別均衡時才可信
- 精確率(Precision):抓出來的裡面多少是真的 — 怕誤殺時看它(如垃圾郵件誤擋正常信)
- 召回率(Recall):真的裡面抓到多少 — 怕漏抓時看它(疾病、詐欺漏一個代價巨大)
- F1-Score:精確率與召回率的調和平均,兩個都要顧時的折衷
- AUC-ROC:整體排序與區分能力,不受單一閾值影響,適合跨模型比較
- Log Loss:重罰「自信滿滿卻答錯」,適合在意機率品質的場景
🎯 口訣:怕誤殺看精確率,怕漏抓看召回率,兩個都要看 F1,不平衡別信準確率。
iPAS 考點
情境判斷是主戰場:醫療篩檢、詐欺偵測 → 召回率優先;誤報成本高 → 精確率;類別不平衡 → F1 或 AUC-ROC,別選準確率(必考陷阱)。概念題:Log Loss 衡量機率預測品質、是訓練時優化的損失;AUC-ROC 的特點是不受閾值影響。