深度學習知識地圖 · NLP 與 LLM
AI 幻覺與評測
Hallucination / LLM-as-Judge
觀念教學
LLM 最危險的不是「不會」,而是「不會還講得跟真的一樣」— 這就是幻覺,生成式 AI 落地的頭號風險。
核心觀念
幻覺(Hallucination)= LLM 自信地產生看似合理、實則錯誤或虛構的內容。根源在訓練目標:模型學的是「預測最可能、最流暢的下一個字」,不是說真話;它也沒有「我不知道」的機制,遇到知識缺口就順著語感編下去。
白話理解
金融客服機器人被問「這檔基金去年配息幾次」,資料庫裡沒有,它卻流暢答出「四次,分別在…」— 語氣越自然越危險。法律場景更經典:引用根本不存在的判決字號,不查證完全看不出破綻。
緩解手段
- RAG 接地:先檢索文件再回答,把答案綁在真實資料上 — 最有效的一招
- 允許棄答(可以說不知道)、要求附上引用來源
- RLHF 對齊誠實(3H 的 Honest)
- 降低溫度只能減少隨機亂跳,補不上知識缺口 — 治標不治本
- 評估指標:幻覺率、事實一致性
延伸:LLM-as-Judge
用強模型當評審,自動評分其他模型的輸出 — 便宜、快、可規模化。但評審自帶三種偏誤:位置偏誤(偏袒先出現的答案)、長度偏誤(偏愛長回答)、自我偏好(偏愛自家文風)。去偏作法:雙向評測(交換順序再評一次)、訂明確評分準則、多評審並以人工校準(用人工一致度驗證評審可信)。
🎯 口訣:流暢不等於真實 — 根治靠 RAG,省錢評測靠 Judge,但 Judge 自己也要被審。
iPAS 考點
考成因 → 「訓練目標是預測下一個字,不是事實查核」。考最有效緩解 → RAG;陷阱選項:「溫度調到零就能消除幻覺」— 只能降隨機性,補不了知識。LLM-as-Judge 考三大偏誤的辨認;「交換答案順序重評」對應的是位置偏誤。
應用場景
評估指標
iPAS 歷屆考題詳解(2 題)
先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。
某金融機構欲建立內部法規問答系統，供員工查詢最新的洗錢防制與客戶盡職調查規範。試行階段發現，大型語言模型有時會生成看似合理、但實際上並不存在的法規條文編號與內容，員工若未經查證直接引用，恐衍生合規風險。技術團隊評估後，應優先導入下列何種技術架構，以有效緩解此一問題？
- A使用主成分分析（PCA）降低員工輸入問題的特徵維度，以減少查詢語句中的雜訊干擾；
- B導入檢索增強生成（RAG）技術，讓模型於生成回覆前，先從企業內部真實的法規文件中檢索相關內容，再依據檢索結果作答；
- C提高模型生成時的溫度參數（Temperature）至最大值，讓模型輸出更具創意與多樣性，藉此提升回覆內容的豐富度；
- D利用卷積神經網路（CNN）過濾員工輸入問題中的錯別字，確保輸入文字正確無誤
看正解與逐選項詳解
正解:B
某醫療機構導入 AI 用藥諮詢輔助系統，系統在提供用藥建議後，皆會附上其引用的醫學文獻來源。院方主管認為：「只要系統附有引用文獻，代表該次回覆內容一定完全正確。」資訊室主任則向院方說明這個看法並不完全正確。請問資訊室主任最可能提出下列何種說明？
- A標註文獻來源的主要目的在於降低系統運算成本，因此是否提供來源與答案可信度無關；
- B標註來源僅能提高答案的可追溯性，讓醫護人員可自行查核依據，但無法保證 AI 在產生回覆時未誤解文獻內容或引用錯誤；
- C標註文獻來源可讓系統自動將這些文獻納入模型重新訓練，因此回覆內容會隨使用次數逐漸提升準確性；
- D系統只要標註文獻來源，即表示該次回覆內容已完成院內專科醫師審核，可直接作為正式醫療處置建議
看正解與逐選項詳解
正解:B