機器學習知識地圖 · 評估指標
評估指標
準確率、F1、Log Loss
觀念教學
分類模型說「這筆是詐欺」,你怎麼知道它可信?準確率只是入門 — 真正的驗收,要看你怕漏抓還是怕誤殺。
核心觀念
分類評估的地基是混淆矩陣:預測結果拆成真陽性、假陽性、真陰性、假陰性四格,各指標都從這裡長出來。另一路是 Log Loss(對數損失):衡量機率預測品質,預測機率越接近真相分數越低,同時它也是邏輯迴歸訓練時優化的核心指標。
白話理解
銀行詐欺偵測:一萬筆交易只有 50 筆詐欺,模型全猜「正常」,準確率還有 99.5% — 漂亮但沒用。這就是類別不平衡下準確率的騙局,必須改看精確率、召回率、F1 與 AUC-ROC。
指標怎麼挑
- 準確率(Accuracy):整體正確率,類別均衡時才可信
- 精確率(Precision):抓出來的裡面多少是真的 — 怕誤殺時看它(如垃圾郵件誤擋正常信)
- 召回率(Recall):真的裡面抓到多少 — 怕漏抓時看它(疾病、詐欺漏一個代價巨大)
- F1-Score:精確率與召回率的調和平均,兩個都要顧時的折衷
- AUC-ROC:整體排序與區分能力,不受單一閾值影響,適合跨模型比較
- Log Loss:重罰「自信滿滿卻答錯」,適合在意機率品質的場景
🎯 口訣:怕誤殺看精確率,怕漏抓看召回率,兩個都要看 F1,不平衡別信準確率。
iPAS 考點
情境判斷是主戰場:醫療篩檢、詐欺偵測 → 召回率優先;誤報成本高 → 精確率;類別不平衡 → F1 或 AUC-ROC,別選準確率(必考陷阱)。概念題:Log Loss 衡量機率預測品質、是訓練時優化的損失;AUC-ROC 的特點是不受閾值影響。
應用場景
評估指標
iPAS 歷屆考題詳解(1 題)
先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。
某醫院利用 AI 模型進行癌症篩檢，目前模型的精確率（Precision）為 96%，召回率（Recall）為 71%。醫師評估後認為，希望能讓更多真正罹癌的病患在初步篩檢時被及早發現，即使因此增加部分後續複檢人數也可以接受。分析師應優先採取何種策略？
- A調高判定癌症的門檻值，以提高精確率（Precision），但召回率（Recall）可能會下降；
- B調低判定癌症的門檻值，以提高召回率（Recall），但精確率（Precision）可能會下降；
- C調整模型參數，使精確率（Precision）與召回率（Recall）同步提升，而不需調整判定門檻；
- D保持目前判定門檻，以維持較高的精確率（Precision），避免增加過多後續複檢
看正解與逐選項詳解
正解:B
正確答案:(B)
【正解解析】
題幹目標是「讓更多真正罹癌的病患在初步篩檢時被及早發現」,也就是減少漏診(偽陰性,False Negative),對應的指標是召回率(Recall):在所有實際罹癌者中被模型正確找出的比例。目前召回率僅 71%,代表近三成罹癌者被漏掉。調低判定癌症的門檻值(Threshold)會讓模型更容易判為陽性,召回率隨之提高;代價是更多未罹癌者被判為陽性(偽陽性增加),精確率(Precision)下降、複檢人數增加,而題幹已明確表示可接受此代價,故 (B) 正確。
【為何其他選項錯了?】
- (A):調高門檻會讓模型更保守,只在非常確定時才判為癌症,精確率上升但召回率下降,漏診更多,與醫師「及早發現更多病患」的目標背道而馳。
- (C):在同一個模型下,精確率與召回率通常存在此消彼長的取捨(Trade-off),單靠調整參數同步提升兩者並不保證可行,也不是題幹要求的優先策略;門檻調整才是最直接的手段。
- (D):維持現狀等於接受 71% 的召回率,近三成罹癌病患仍會被漏掉,不符合醫師願意增加複檢以換取早期發現的取向。
提示:「寧可多查也不能漏」對應提高召回率,作法是調低門檻;「寧可漏也不能誤判」才是提高精確率、調高門檻。