資料知識地圖 · 1. 問題定義
KPI 定義
目標指標與成功判準
觀念教學
沒有 KPI 的專案,像沒有計分板的球賽——大家都很忙,但沒人知道贏了沒。
核心觀念
KPI(Key Performance Indicator,關鍵績效指標)把專案目標翻譯成可量化、可追蹤的數字;成功判準(Success Criteria)則事先講好「達到多少算成功」。兩者齊備,專案驗收才有客觀依據,不是各說各話。
白話理解
客服中心導入 AI 助理:KPI 選「平均處理時間」與「首次解決率」,成功判準訂「三個月內平均處理時間縮短兩成」。之後每週追達成率(目前做到幾成)與改善幅度(比基準期好多少),進度一目了然,該調整時也有數字撐腰。
好 KPI 的五個條件
- 可量化:算得出數字,不是「提升客戶好感」這種形容詞
- 可追蹤:資料拿得到、更新頻率夠
- 對齊業務目標:防止「指標好看、生意變差」的假繁榮
- 有基準線(Baseline):先量現況,改善幅度才有比較對象
- 事先定成功判準:避免事後移動球門
🎯 口訣:量得出、追得到、對得上業務——三樣缺一,KPI 就是裝飾品。
iPAS 考點
考「下列何者是定義良好的 KPI」:選可量化、可追蹤、有時間範圍的選項;不可量測的形容詞型選項是陷阱。另一考法問專案驗收爭議的根因,答案指向未事先定義成功判準;看到「無法評估專案成效」,先想 KPI 缺席。
應用場景
評估指標
iPAS 歷屆考題詳解(1 題)
先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。
一家電商公司已將推薦系統 AI 模型上線三個月,業務主管要求專案團隊評估導入成效。上線前後的指標數據如下: 指標 導入前 導入後 模型離線 AUC — 0.91 點擊率(CTR) 3.2% 3.1% 平均訂單金額 $850 $1,020 系統推論延遲 — 平均 85ms 模型推論費用 — 每月 $12,000 團隊根據上表數據得出結論:「因為 AUC 高達 0.91,模型表現優異,AI 導入成效良好。」請問此評估結論存在什麼根本問題?
- A僅依賴離線指標 AUC 判斷模型成效,忽略線上業務指標(如 CTR 與營收)的變化,可能導致錯誤結論
- BAUC 已達0.91,代表模型排序能力優異,即使 CTR 略為下降,仍可視為推薦品質提升
- CCTR 從 3.2%降至 3.1%,顯示模型效果變差,應立即還原(Rollback)至舊模型
- D平均訂單金額提升至$1,020,代表模型已成功優化營收,因此無需考慮其他指標
看正解與逐選項詳解
正解:A
正確答案:(A)
【正解解析】
AUC 是「離線」評估指標,只說明模型在歷史資料上的排序判別力,不等於上線後的商業成效。導入成效必須檢視「線上業務指標」:表中 CTR 反而從 3.2% 降至 3.1%,平均訂單金額雖上升,但每月新增 $12,000 推論費用與系統延遲也應納入整體評估。團隊僅憑 AUC 一項離線指標即宣告「成效良好」,犯了把離線指標與線上成效混為一談的根本錯誤;正確作法是以 CTR、轉換率、營收增量、成本等業務 KPI 綜合評估,必要時以 A/B 測試確認因果,故 (A) 正確。
【為何其他選項錯了?】
- (B):AUC 高只代表離線排序能力,無法為 CTR 下降背書;線上使用者的實際點擊行為才是推薦品質的直接證據,兩者矛盾時應以線上指標為準深入分析。
- (C):僅憑 CTR 下降 0.1 個百分點即立刻還原舊模型同樣武斷:平均訂單金額明顯上升,可能是推薦轉向高價商品的合理取捨,應先做統計顯著性檢定與綜合評估再決策。
- (D):只看訂單金額上升就宣告成功,與只看 AUC 犯的是同一種「單一指標以偏概全」的錯誤;金額上升也可能受季節或行銷活動等混雜因素影響。
提示:離線指標(AUC)驗證模型能力,線上業務 KPI(CTR、營收、成本)才能證明導入成效,兩者不可互相替代。