深度學習知識地圖 · NLP 與 LLM
RLHF 對齊
人類回饋強化學習
觀念教學
GPT-3 會接話但不太聽話,ChatGPT 才像個得體的助理 — 中間那道關鍵工序就是 RLHF:用人類偏好把語言模型「調教變乖」。
核心觀念
RLHF(Reinforcement Learning from Human Feedback,人類回饋強化學習)是 GPT 變成 ChatGPT 的關鍵一步,三階段:
- 監督微調(SFT):用人工示範的優質回答,教模型基本對話
- 獎勵模型(RM):人類對多個回答排序,訓練出一個會「打分」的模型
- 強化學習(PPO):模型往高分方向更新,同時加 KL 散度約束,防止偏離原模型太遠而「走鐘」
白話理解
新進客服的養成。SFT 是先讀標準應答範本;RM 是主管把幾種回法排出高下,內化成評分標準;PPO 是實戰演練、照評分不斷調整,但公司規定「不能偏離原本的專業話術太遠」— 那條規定就是 KL 約束。
關鍵細節
- 對齊目標 3H:Helpful(有幫助)、Harmless(無害)、Honest(誠實)
- 評估:人類偏好勝率(回答被人類選中的比例)、獎勵分數、KL 散度
- 副作用:獎勵駭客(鑽評分漏洞)、諂媚(一味順著使用者)、對齊稅(對齊後部分能力略降)
- 延伸:DPO 直接用偏好資料最佳化,跳過獎勵模型與強化學習,更簡單穩定
🎯 口訣:SFT 學說話、RM 學打分、PPO 練討好;3H 是目標,KL 是韁繩。
iPAS 考點
三階段順序 SFT → RM → PPO 是排序題常客。考「獎勵模型用什麼訓練」→ 人類的排序偏好資料,不是標準答案標註。易混淆對:RLHF 對 DPO — DPO 不訓練獎勵模型、不跑強化學習。3H 名詞配對,以及「KL 約束是為了防走鐘」,也常入題。
應用場景
評估指標
iPAS 歷屆考題詳解(2 題)
先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。
某客服系統開發團隊希望聊天機器人的回覆風格更貼近人類偏好，因此在模型訓練後期導入人類回饋強化學習（Reinforcement Learning from Human Feedback, RLHF）技術。關於 RLHF 核心作法，下列敘述何者最正確？
- A蒐集人類對不同模型回覆的偏好評比，建立獎勵模型作為模型優化的依據；
- B蒐集更大量的公開網路文字重新進行預訓練，以提升模型回答的專業度；
- C調整系統提示（System Prompt），引導模型採用指定的回覆風格；
- D蒐集高品質問答範例，直接進行監督式微調（Supervised Fine-Tuning, SFT）
看正解與逐選項詳解
正解:A
某企業將生成式 AI 導入內部知識問答系統，並建立強化學習從人類回饋（Reinforcement Learning from Human Feedback, RLHF）機制，定期依員工對 AI 生成答案的「按讚／按噓」評分作為後續微調模型的依據。系統上線半年後，資料分析部門發現，僅約 8%員工會主動評分，且多數評分者集中於資訊部門，其他部門員工鮮少提供回饋。技術團隊對此現象應有的正確認知為何？
- A生成式 AI 的回答主要受預訓練模型影響，因此 RLHF 回饋資料分布不均，通常不會明顯影響模型後續的回覆品質；
- BRLHF 建立的獎勵模型（Reward Model）具有泛化能力，因此資訊部門的評分結果通常也能代表其他部門的需求；
- C若資訊部門為 AI 系統的主要使用者，其回饋即可作為模型最佳化的主要依據，不必再蒐集其他部門的意見；
- D回饋資料可能存在選擇性偏差，使模型逐漸偏向資訊部門的需求與用語習慣，因此應擴大不同部門的回饋樣本
看正解與逐選項詳解
正解:D