評估指標

XGBoost、LightGBM 這些梯度提升樹是競賽與風控的常勝軍,驗收時除了準不準,還要答得出「模型憑什麼這樣判」。

核心觀念

梯度提升樹(GBDT)的評估三本柱:準確率衡量分類正確率;AUC-ROC 評估排序能力(把高風險排在低風險前面的本事);Log Loss 衡量機率預測品質,重罰過度自信的錯誤。金融風控尤其看重 AUC:授信要的是「排序對」,不只是「分對」。

白話理解

銀行信用評分模型:AUC 高,代表真正會違約的人普遍被排在高風險端;Log Loss 低,代表輸出的違約機率本身可信,能直接拿去做定價與額度決策。上線後主管問「憑什麼拒絕這位客戶」,就輪到解釋性指標上場。

解釋模型的兩把刀

• 特徵重要性(Feature Importance):全域視角 — 整體而言模型最依賴哪些特徵,幫助理解模型
• SHAP 值(SHAP Values):個體視角 — 這一筆預測中,每個特徵各推了多少分、往哪個方向推
• 搭配使用:特徵重要性看大局,SHAP 解釋單筆決策 — 金融法遵、醫療場景幾乎必備
• 訓練面:梯度提升以可微損失(如 Log Loss)為優化目標,一棵樹接一棵樹修正殘差

🎯 口訣:準確率看對錯、AUC 看排序、Log Loss 看機率;大局問特徵重要性,單筆問 SHAP。

iPAS 考點

考點集中在「指標對任務」:排序與風險分數 → AUC-ROC;機率品質 → Log Loss;模型解釋 → 特徵重要性與 SHAP。易混淆對:特徵重要性(全域排名)vs SHAP(單筆預測的逐特徵貢獻)— 題目要「解釋單一客戶被拒原因」,選 SHAP。