AI 方法論知識地圖 · 治理與倫理

可信賴性

如何信任模型判斷

在互動地圖中開啟 回AI 方法論知識地圖

觀念教學

模型說「這筆貸款拒絕」,你敢直接照辦嗎?可信賴性回答的就是:憑什麼信它。

核心觀念

可信賴性(Trustworthiness)是 AI 系統的核心支柱之一:系統不只要準,還要讓人知道模型為什麼做出這樣的判斷,並確保判斷過程沒有偏見或歧視。它是一組特質的總稱,涵蓋可解釋、公平、安全、隱私與當責。

白話理解

健保體系導入 AI 判讀醫療影像:醫師要看得懂模型「為什麼圈這裡」(可解釋),不同性別、年齡病患的誤判率要相當(公平),病歷不能外洩(隱私),影像帶點雜訊也不能亂判(強健)。缺一角,醫院就不敢用。

可信賴的五大面向

  • 可解釋性(Explainability):能說清楚判斷依據,常以可解釋性分數量化
  • 公平性(Fairness):不因敏感特徵歧視,用公平性指標檢核
  • 強健性(Robustness):輸入被擾動仍穩定運作
  • 隱私(Privacy):資料與模型輸出不洩漏個資
  • 透明與當責(Accountability):流程可稽核、出錯找得到負責人
🎯 口訣:可信賴 = 解釋得了、公平得起、打不倒、藏得住、追得到。

iPAS 考點

真實考題:AI 新創聲稱產品通過我國「AI 產品與系統評測中心」的生成式 AI 評測,問下列何者不屬於該中心的評測項目。解題心法:評測項目都圍繞可信賴特質 — 安全性、公平性、隱私、資安、透明與可解釋這一類;選項若屬商業績效類(如市場競爭力、獲利能力、創新程度),就是「不屬於」的答案。把五大面向背熟,反著考也不怕。

📝 本節掛載 1 題 iPAS 歷屆試題 — 讀完往下到「iPAS 考題練習」直接實戰。

應用場景

模型解釋決策透明化偏見檢測法規遵循

評估指標

可解釋性分數公平性指標

iPAS 歷屆考題詳解(3 題)

先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。

115年第二次初級AI應用規劃師第一科人工智慧基礎概論 第6題

某AI 新創公司申請AI 系統認證,並聲稱其產品已通過我國「AI 產品與系統評測中心」之生成式AI 評測。下列何者不屬於該中心之評測項目?

  1. A資安(Secure);
  2. B公平性(Fair);
  3. C效率性(Efficiency);
  4. D可靠性(Reliability)
看正解與逐選項詳解

正解:C

正確答案:(C) 【正解解析】 題目問「不屬於」該中心的評測項目。我國「AI 產品與系統評測中心」的生成式 AI 評測聚焦於可信任 AI(Trustworthy AI)的風險面向,如資安、公平性、可靠性、安全性等,目的在確認系統是否值得信賴、風險是否可控。效率性(Efficiency)屬於系統效能與資源利用的工程指標,不在可信任評測的核心項目之列,故為本題答案。 【為何其他選項錯了?】 - (A):資安(Secure)是評測項目之一;生成式 AI 面臨提示注入、資料外洩等威脅,資安防護是可信任評測的必要面向。 - (B):公平性(Fair)是評測項目之一;模型對不同族群不應存在系統性偏誤,是可信任 AI 的核心指標。 - (D):可靠性(Reliability)是評測項目之一;系統輸出需穩定一致、在預期條件下正確運作,才具備可信賴的基礎。 提示:可信任 AI 評測看的是風險面向(資安、公平、可靠、安全);效率屬效能指標,不在其列。
115年第一次中級AI應用規劃師第一科人工智慧技術應用與規劃 第25題

某企業欲將其 AI輔助決策系統提交給外部稽核單位審查,並宣稱符合 NIST《AI風險管理框架》(NIST AI RMF)中可驗證性(Verifiability)的要求。為讓第三方稽核人員能獨立重現模型評估結果,下列哪一項技術實踐最直接符合此要求?

  1. A將模型測試準確率優化至 99%以上,以達到業界公認的高可靠標準
  2. B建立可追溯的測試資料與評估流程,並記錄模型訓練與評估過程中的關鍵設定,以確保結果可被重現
  3. C加快模型迭代速度,縮短版本發布週期以盡快累積外部驗證數據
  4. D擴充訓練資料量至數百萬筆,以統計方式確保模型的泛化能力達標
看正解與逐選項詳解

正解:B

正確答案:(B) 【正解解析】 可驗證性(Verifiability)的操作型定義是:第三方能依據紀錄「獨立重現」所宣稱的結果。要達成此要求,必須提供可追溯的測試資料(版本、來源、切分方式)、評估流程(指標定義、評估腳本),以及訓練與評估過程的關鍵設定(超參數、隨機種子、軟硬體環境、模型版本)。紀錄齊備,稽核人員依相同流程可得到一致結果,才符合 NIST AI RMF 以文件化與可追溯性支撐信任的精神。 【為何其他選項錯了?】 - (A):99% 準確率是效能宣稱,與可驗證性無關;缺乏可追溯紀錄,再高的分數第三方也無從查證。 - (C):加快迭代與縮短發布週期無助於重現性;版本更迭越快而紀錄不全,稽核反而更困難。 - (D):擴充資料量處理的是泛化能力,屬模型品質議題;缺少可追溯的流程紀錄,資料再多仍無法讓第三方重現結果。 提示:可驗證性=第三方依紀錄能重跑出相同結果;測試資料、評估流程、關鍵設定三者都須留存。
115年第三次初級AI應用規劃師第一科人工智慧基礎概論 第6題

某壽險公司 AI 客服助理上線後進行測試。顧客與 AI 助理對話時,全程未察覺對方並非真人,回應自然且能適當安撫顧客情緒。然而,當顧客詢問「我同時符合兩項理賠條件,應優先申請哪一項?」時,AI 助理前後提供不同建議;進一步詢問原因時,也無法說明判斷依據,只能持續提供語意通順但未能回答問題的內容。技術主管認為,既然 AI 已具備足以讓人誤認為真人的對話能力,就代表其判斷結果值得信賴。依據圖靈測試(Turing Test)的設計理念,下列何者最適合評估上述技術主管的觀點?

  1. A圖靈測試主要用於評估 AI 是否具有可解釋性,因此無法說明判斷依據即代表未通過圖靈測試;
  2. B圖靈測試通過後,即可合理推論 AI 在專業領域的判斷能力已達人類水準;
  3. C圖靈測試的目的在驗證 AI 是否能針對各類問題提供正確且一致的答案,因此回答內容是否正確是主要評估重點;
  4. D圖靈測試主要評估 AI 是否能展現近似人類的對話表現,並不能據此推論其具備可靠的專業判斷與決策能力
看正解與逐選項詳解

正解:D

正確答案:(D) 【正解解析】 圖靈測試(Turing Test)的設計理念是:若人類評審在對話中無法分辨對方是機器還是真人,即視為機器展現了近似人類的對話行為。它評估的是「對話表現是否像人」,並不檢驗回答的正確性、一致性或推理依據。題幹中 AI 助理雖然通過了「讓顧客誤以為是真人」的門檻,卻對理賠問題前後矛盾且無法說明依據,正好說明對話擬真與專業判斷可靠是兩回事。技術主管把「像人」等同於「值得信賴」是推論上的跳躍,(D) 正確指出圖靈測試的範圍與限制。 【為何其他選項錯了?】 - (A):圖靈測試不是可解釋性(Explainability)的評估工具,能否說明判斷依據與是否通過圖靈測試無關;AI 助理的問題在於決策可靠性,不在於圖靈測試本身。 - (B):通過圖靈測試只代表對話表現近似人類,不能推論其在保險理賠等專業領域的判斷已達人類水準,題幹的矛盾建議正是反例。 - (C):圖靈測試的評估重點是評審能否分辨機器與人,而非答案是否正確一致;一個回答錯誤但語氣自然的系統仍可能通過測試。 提示:圖靈測試只看「對話像不像人」,不看「答案對不對」;題幹出現「未察覺非真人」但「判斷矛盾」時,兩者要分開評估。

相關節點