資料知識地圖 · 7. 特徵建模
樣本不平衡
重抽樣 / 權重 / 指標
觀念教學
詐欺偵測資料裡 99% 都是正常交易 — 模型只要一律猜「正常」就有 99% 準確率,卻一筆詐欺都抓不到。樣本不平衡(Class Imbalance)就是這種「準確率很高、模型沒用」的陷阱。
核心觀念
當一個類別遠多於另一個,模型會偏向多數類,少數類(往往才是你要抓的)被犧牲。解法分兩路:動資料(重抽樣)與動模型(類別權重);同時評估指標必須換掉 — Accuracy 在不平衡資料上會嚴重誤導。
白話理解
製造瑕疵檢測:一萬件產品只有 50 件瑕疵。全部猜「良品」,準確率 99.5%,漏檢率卻是 100%。這時該看的是 F1-Score(精確率與召回率的調和平均)與 PR-AUC,不是準確率。
處理工具箱
- 過採樣(Over-sampling):增加少數類;SMOTE 在少數類樣本之間內插「合成」新樣本,比單純複製更不容易過擬合
- 欠採樣(Under-sampling):丟掉部分多數類樣本,快速但可能損失資訊
- 類別權重調整:訓練時把少數類的錯誤罰得更重,不動資料本身
- 指標選擇:F1-Score、AUC-ROC;極端不平衡時 PR-AUC 比 ROC 更誠實
- 重抽樣只能對訓練集做,測試集必須保持真實分佈
🎯 口訣:不平衡三動作 — 重抽樣、調權重、換指標;Accuracy 先丟掉。
iPAS 考點
經典題型:「準確率 99% 但少數類全漏」問診斷與對策 — 答樣本不平衡,改看 F1、AUC 等指標。方法題:SMOTE 屬於過採樣,而且是「合成」新樣本而非複製 — 選項把它說成欠採樣或資料清理,都是陷阱。
應用場景
評估指標
iPAS 歷屆考題詳解(7 題)
先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。
在處理分類問題時,若某一類樣本數明顯少於其他類別,研究人員可能採用隨機過採樣(Random Oversampling)以平衡資料比例,此方法最常造成下列哪一種問題?
- A增加過擬合風險
- B降低模型的收斂速度
- C減少資料總筆數數量
- D導致訓練資料欄位缺失
看正解與逐選項詳解
正解:A
若開發一個用於罕見疾病自動診斷的分類模型,目前資料集中確診樣本僅佔不到1%,且因為標註成本高,短期內無法取得更多資料。在此情況下,若希望提升模型對少數類的偵測能力,同時避免過擬合,下列哪一種策略最為合理?
- A對少數類進行隨機過採樣(Random Oversampling)
- B對多數類進行欠採樣(Random Undersampling)
- C使用SMOTE(Synthetic Minority Over-sampling Technique)生成合成少數類樣本後再訓練分類模型
- D僅使用現有資料調整模型決策閾值(Decision Threshold)以提升召回率
看正解與逐選項詳解
正解:C
某醫療機構開發疾病早期偵測模型,正樣本(確診病例)僅佔 3%。在模型訓練與評估過程中,下列哪一種作法最不適合用於提升對少數類病例的預測能力?
- A使用SMOTE 過採樣
- B調整類別權重
- C使用準確率(Accuracy)作為評估指標;
- D欠採樣多數類(Undersampling the majority class)
看正解與逐選項詳解
正解:C
某製造廠開發產線瑕疵檢測模型時,資料集存在嚴重類別不平衡問題,其中良品約占 99%,瑕疵品僅占 1%。若直接使用原始資料進行訓練,模型容易偏向預測多數類別(良品),導致對少數類別(瑕疵品)辨識能力不足。在不調整模型架構與學習演算法的前提下,僅透過資料前處理方式改善此問題,下列何者最適當?
- A使用 SMOTE等過採樣方法進行少數類別擴增
- B加入 L1/L2 正則化(Regularization)以防止過擬合
- C大幅增加深度神經網路的層數,以強化特徵萃取能力
- D複製更多良品數據,以進一步提升模型的準確率(Accuracy)
看正解與逐選項詳解
正解:A
某電信公司的 AI 反詐欺模型在正常交易佔 99.5%、詐欺交易僅佔 0.5%的類別嚴重不平衡資料集上訓練。若工程師僅以整體準確率(Accuracy)作為模型選擇的唯一指標,最可能產生什麼嚴重問題?
- A模型訓練時間會因類別不平衡而大幅增加
- B一個永遠預測為正常交易的模型即可達到 99.5%準確率,但對詐欺交易的召回率為0%,使準確率失去判別能力
- C類別不平衡會導致模型訓練過程出現梯度爆炸
- D類別不平衡會直接導致模型過擬合,使測試集表現下降
看正解與逐選項詳解
正解:B
某金融機構導入 AI模型進行信用卡詐欺偵測,由於詐欺交易極為稀少(約佔全部交易0.3%),因此模型在測試階段得到 99.6%準確率(Accuracy),被初步認定為「高效模型」。然而在實際上線後,風控部門發現模型幾乎無法攔截詐欺交易,且大量誤判正常交易。經進一步檢查,發現資料極度不平衡,但模型仍以 Accuracy 作為主要優化與評估指標。在此情境下,下列何者最適當的改善方向?
- A持續優化 Accuracy 指標以提升整體分類正確率
- B改用精確率(Precision)作為主要評估指標以降低誤報
- C引入Class Weight 或Cost-sensitive Learning 調整損失函數
- D移除少數類資料以提升模型穩定性與收斂速度
看正解與逐選項詳解
正解:C
某銀行建置貸款違約預測模型,資料共 50,000 筆,其中違約樣本僅 800 筆(佔 1.6%)。在模型建置流程中,先對整體資料使用 SMOTE 對少數類進行過採樣,之後再進行訓練/測試切分,並訓練輕量梯度提升機(LightGBM)模型,並以 AUC-ROC 評估模型表現。模型在測試集的AUC-ROC 達到0.91,團隊認為模型表現良好,準備上線部署。在模型審查過程中,下列何者為使測試集評估結果失真的主要原因?
- ASMOTE 不適合用於金融違約預測場景,此類高風險業務應一律採用 class_weight 調整損失函數,而非對資料本身進行過採樣
- BSMOTE 的過採樣操作在訓練/測試切分之前即對全體資料執行,導致合成樣本資訊洩漏至測試集,使 AUC-ROC 0.91 虛高而不可信
- CAUC-ROC 在1.6%的不平衡場景下過度樂觀,應改用 PR-AUC 作為評估指標,其餘流程均正確
- DLightGBM 本身已內建處理不平衡的機制,與 SMOTE 同時使用會造成少數類過度補償,導致過多誤判
看正解與逐選項詳解
正解:B