階段 5 生成式 AI

這一階段 AI 工程師要從「訓練模型」切換到「駕馭大模型」:把 LLM 接進真實任務,並用 RAG 讓它根據你的資料回答、有憑有據。

這一階段學什麼

• Prompt 結構化:角色、任務、限制、輸出格式分段寫,讓輸出穩定可解析,而不是每次靠運氣。
• Embedding 與向量檢索:把文字轉成向量、用相似度找出相關段落,這是語意搜尋的核心機制。
• RAG(Retrieval-Augmented Generation):資料清理、切塊、建向量庫、檢索,再把找到的段落塞進提示,讓模型照資料回答。
• 評測與防幻覺:建一份測試問答集,量測答對率與引用正確率;答不出來要能拒答,而不是編一個。

為什麼是現在學

有階段 4 的 Transformer 底子,你理解 LLM 的能與不能。RAG 是目前企業導入生成式 AI 最主流的模式;這一站的成果,正是階段 6 要部署上線的主角。

怎麼練(具體行動)

1. 挑一份自己的文件集(筆記、手冊),做一個能引用出處的問答知識庫。
2. 實驗兩種切塊大小與檢索數量,用同一份測試集比較答題品質。
3. 寫 20 題測試問答,包含幾題「資料裡沒有答案」的陷阱題,量測拒答是否正確。

完成標準

• 完成可用的 RAG 知識庫:能回答文件內問題、附引用來源,資料外的問題會拒答。
• 有一份評測紀錄,說得出改了什麼讓答對率上升。

⚠️ 常見誤區:把心力全放在提示詞、忽略資料品質 — RAG 的上限由資料整理決定,不是 Prompt。