學習路線圖 · AI 產品主線
階段 1 AI 素養
理解生成式 AI 的能力與限制，能在企業情境下正確、安全使用。
觀念教學
AI 產品主線的第一課:先搞懂生成式 AI「能做什麼、記得住什麼、會在哪出包」,才能在企業裡放心把它派上用場。
這一階段學什麼
- LLM 運作三概念:模型把文字切成 Token 處理,它是輸入輸出的基本單位,也是 API 計費的依據;上下文視窗(Context Window)是模型單次能「看見」的範圍,超出就等於沒說過。
- 對話記憶的真相:LLM 本身不會自動記住上一輪對話,「記憶」是應用層把歷史對話塞回上下文的結果;進階架構如 Titans 的 Memory as Context(MAC),則把長期記憶當成上下文的一部分,讓模型同時參考當前對話與過往資訊。
- 幻覺與偏誤:模型會一本正經地編造(幻覺),也會複製訓練資料中的偏見;要求引用來源、保留人工覆核是基本解方。
- 機敏資料與個資規範:哪些資料能貼進 AI 工具、哪些絕對不行,先劃清楚部門的使用界線。
為什麼是現在學
這一站決定後面每個判斷的品質:不懂 Token 會估錯成本,不懂上下文會誤判「AI 為什麼失憶」,不懂幻覺會把錯誤內容送進正式文件。階段 2 的提示詞工程,全部建立在這些觀念上。
怎麼練(具體行動)
- 實測「AI 失憶」:像面試輔助機器人記不住應徵者五分鐘前說的話,根因就是沒把對話歷史帶回上下文 — 自己重現一次這個現象並修好它。
- 拿同一份長文件測試模型,觀察內容超過上下文長度時回答如何劣化。
- 草擬一份部門 AI 使用準則:可用情境、禁用資料類型、輸出覆核規則。
完成標準
- 能界定哪些工作情境可以用 LLM、哪些不行,並說出理由。
- 能白話解釋 Token 與計費的關係,以及聊天機器人「記得住」背後的機制。
⚠️ 常見誤區:把模型當成有記憶的同事 — 它每次只看得到這輪被塞進上下文的內容。
iPAS 考題最愛從這裡出:Token 在 LLM 應用中的意義、機器人失憶的根因、記憶機制的設計。
📝 本節掛載 3 題 iPAS 歷屆試題 — 讀完往下到「iPAS 考題練習」直接實戰。
里程碑
✓ 界定可用 LLM 的情境
範例專題
AI 使用準則草案
應用場景
iPAS 歷屆考題詳解(3 題)
先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。
某人資部門使用Dify 平台建立了一個AI 面試輔助機器人，協助HR 在面試過程中即時查詢應徵者的過往提問紀錄。然而測試時發現，機器人完全無法記住同一位應徵者在五分鐘前說過的話，每次回應都像是全新對話。以下哪個措施能從根本上解決此問題？
- A提升語言模型的溫度參數（Temperature）；
- B在每次API 請求中，手動將歷史對話內容（Chat History）一併打包送入模型進行推理；
- C改用具備更多參數的大型多模態模型，以強化跨輪對話的理解能力；
- D為伺服器增加記憶體容量，擴充系統可儲存的對話快取空間
看正解與逐選項詳解
正解:B
正確答案:(B)
【正解解析】
大型語言模型的 API 呼叫本質上是無狀態(Stateless)的:模型不會自動保存先前的對話,每次請求只能看見當次送入的內容。機器人記不住五分鐘前的對話,根本原因是每次請求都只送出當前訊息。從根本解決的做法,是在每次 API 請求中把歷史對話(Chat History)一併組進上下文送入模型,模型才能依據先前的提問紀錄生成連貫回應,故 (B) 正確。
【為何其他選項錯了?】
- (A):溫度參數(Temperature)控制生成內容的隨機程度,數值越高輸出越多樣,與模型能否取得歷史對話無關。
- (C):更大參數量或多模態能力不會改變 API 無狀態的本質;不論模型規模多大,未送入上下文的歷史對話都不在模型的可見範圍內。
- (D):伺服器記憶體屬系統資源,模型只依據請求中實際送入的上下文運作;快取空間再大,請求未帶入前文就沒有記憶效果。
提示:對話記憶問題先檢查請求組裝:每次呼叫是否把需要的歷史對話放進上下文,與硬體規格和模型大小無關。
在使用API 串接生成式AI 服務時，Token 會影響模型的計費。請問下列何者最正確敘述 Token 在LLM 應用中的意義？
- AToken 是模型將文字切分後的基本單位，通常與字詞或子詞對應，文件長度與Token 數量具有一定關聯性；
- BToken 是模型用來表示整段文字語意的向量單位，用於理解輸入內容的語意結構；
- CToken 的數量會影響模型的輸入輸出長度與計費，而上下文長度受限於模型可處理的最大 Token 數量；
- DToken 只影響模型的運算速度，不影響API 的使用成本
看正解與逐選項詳解
正解:C
正確答案:(C)
【正解解析】
Token 是模型處理文字時的基本單位,輸入與輸出皆以 Token 計量。題幹聚焦「Token 會影響模型的計費」,最正確的敘述需同時涵蓋:Token 數量決定輸入輸出長度與 API 計費,且上下文長度受限於模型可處理的最大 Token 數。(C) 完整連結長度限制與成本兩個面向,最符合 Token 在 LLM 應用中的實務意義。
【為何其他選項錯了?】
- (A):Token 與字詞或子詞對應、文件長度與 Token 數具關聯性的描述正確,但未提及計費與上下文長度限制,對題幹情境的回應不如 (C) 完整。
- (B):以向量表示整段文字語意接近嵌入(Embedding)的概念;Token 是文字切分後的單位,兩者屬不同層次的概念。
- (D):Token 數量直接影響 API 計費與可處理的輸入輸出長度,並非只影響運算速度。
提示:題幹已點出計費,答案需同時涵蓋 Token 數與成本、上下文長度上限的關聯。
某公司開發一個AI 助理，能長期記住使用者的重要資訊（例如偏好與歷史需求），並在後續對話中加以利用。系統設計採用Titans 架構的 Memory asContext（MAC）機制，希望模型在回應時能同時參考目前對話與過去記憶。請問在此設計下，長期記憶最可能是下列哪一種使用方式？
- A將記憶模組整合進模型內部，讓每一層都使用記憶資訊；
- B利用記憶調整模型的注意力強弱，使部分內容被優先關注；
- C將記憶整理成重點內容，與目前輸入一起提供給模型作為額外參考；
- D不使用記憶模組，而是單純增加模型可處理的文字長度
看正解與逐選項詳解
正解:C
正確答案:(C)
【正解解析】
Titans 架構的 Memory as Context(MAC)機制,顧名思義是把記憶當作上下文使用:系統將長期記憶中與當前任務相關的內容整理出來,與目前的輸入一併提供給模型作為額外參考,使模型在回應時能同時參考目前對話與過去記憶。長期記憶不是永久寫入模型參數,而是在每次回應時以上下文的形式被模型看見,故 (C) 正確。
【為何其他選項錯了?】
- (A):將記憶模組整合進模型內部、讓每一層都使用記憶資訊,屬於把記憶嵌入模型結構的設計路線,與 MAC 把記憶作為上下文提供的方式不同。
- (B):利用記憶調整注意力的強弱,屬於以記憶調節注意力機制的設計;MAC 的重點是把記憶內容直接放入上下文,而非改變注意力權重。
- (D):單純增加可處理的文字長度只是擴大上下文視窗,缺乏記憶的萃取與管理機制,無法主動保存並利用使用者的重要資訊。
提示:MAC 可直接由名稱理解:Memory as Context,記憶經整理後作為上下文與目前輸入一併送入模型。