深度學習知識地圖 · NLP 與 LLM

NLP 與 LLM

RNN, BERT, GPT

在互動地圖中開啟 回深度學習知識地圖

觀念教學

NLP(自然語言處理)讓電腦「讀懂」也「寫出」人類語言 — 從聽懂客訴、翻譯合約,到 ChatGPT 與 Claude,都是同一條技術長河。

核心觀念

技術演進一條龍,每一站都是考點:規則式(人工寫文法規則,脆弱難擴充)→ Word2Vec(把詞變成向量,詞義可以做數學)→ RNN / LSTM(按順序讀、帶著記憶的序列模型)→ Transformer(自注意力、可平行處理)→ 兩大路線:BERT 雙向讀上下文、用克漏字預訓練,強在理解;GPT 自回歸、一路預測下一個字,強在生成 → 規模放大,進入 LLM 大語言模型時代(ChatGPT、Claude)。

白話理解

選舉期間的輿情分析是標準應用:對社群貼文做情感分析(態度正負)、主題分析(在吵哪些議題)、命名實體辨識(NER)(抓出政策、人物、機構名),整合起來看選民對各政策議題的態度傾向 — 全程只分析文字內容,不需要辨識任何個人身份。

關鍵細節

  • 經典應用:聊天機器人、機器翻譯、情感分析、文本摘要、程式碼生成
  • NER 是序列標註任務:每個詞給一個標籤,而且要看整句、考慮詞與詞之間的關聯
  • CRF(條件隨機場):在輸出層建模「相鄰標籤的依賴關係」,讓整句標註全局最佳,而不是逐詞獨立猜
  • 評估:語言模型品質看 Perplexity(困惑度,越低越好);翻譯與生成比對參考文本用 BLEU
  • BERT 對 GPT 一句話:BERT 雙向讀完再判斷(理解型),GPT 一路往右寫(生成型)
🎯 口訣:讀懂找 BERT、寫作找 GPT;序列標註加 CRF,標籤不孤單。

iPAS 考點

兩個真題方向。其一,輿情分析情境:問「哪種技術組合符合需求,且不涉及對特定個人的身份辨識」— 往情感分析、主題模型、NER 這類純文本分析組合選;混入人臉辨識或個資比對的選項就是陷阱。其二,CRF 在 NER 的角色:根據整句判斷每個詞的標籤,並建模標籤之間的關聯性,不是獨立分類每個詞。BERT 對 GPT(雙向理解對單向生成)則幾乎是必考送分題。

📝 本節掛載 2 題 iPAS 歷屆試題 — 讀完往下到「iPAS 考題練習」直接實戰。

應用場景

自然語言處理機器翻譯文本生成大型語言模型

評估指標

PerplexityBLEU

iPAS 歷屆考題詳解(7 題)

先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。

115年第二次初級AI應用規劃師第一科人工智慧基礎概論 第1題

某地方政府委託資料科學團隊,針對選舉期間的社群媒體貼文進行大規模輿情分析,目標是了解選民對各政策議題的態度傾向。團隊規劃整合多種AI 技術以提升分析涵蓋率。下列哪一種技術組合最符合上述需求,且不涉及對特定個人的身份辨識?

  1. A情感分析結合關鍵詞提取,分析貼文內容的立場與高頻議題詞彙;
  2. B文本分類結合人臉辨識,辨識發文者身份後再進行政治立場分類;
  3. C語音辨識結合影像辨識,將選舉造勢影片轉換為可分析的文字資料,並進行內容整理與主題歸納;
  4. D推薦系統結合社群圖譜分析,針對個別使用者預測其投票選擇
看正解與逐選項詳解

正解:A

正確答案:(A) 【正解解析】 題幹有兩個關鍵條件:一是分析對象為大規模社群媒體「貼文」,目標是掌握選民對政策議題的態度傾向與熱門議題;二是明確要求「不涉及對特定個人的身份辨識」。情感分析(Sentiment Analysis)可判斷貼文的立場與情緒傾向,關鍵詞提取(Keyword Extraction)可統計高頻政策議題詞彙,兩者皆針對文本內容進行彙總分析,不需識別發文者身分,完全符合輿情分析需求。 【為何其他選項錯了?】 - (B):人臉辨識即是對特定個人的生物特徵身分辨識,直接違反題幹「不涉及個人身份辨識」的限制;先辨識發文者身分再分類政治立場,亦有嚴重的個資與隱私疑慮。 - (C):語音辨識與影像辨識處理的是造勢「影片」,但題幹指定的資料來源是社群「貼文」文字,資料型態與分析對象不符。 - (D):推薦系統結合社群圖譜預測「個別使用者」的投票選擇,屬於針對特定個人的行為預測,與題幹要求的群體層級議題態度彙總相反,且涉及個人層級的敏感推斷。 提示:先核對資料來源(貼文文字),再檢查排除條件(不得辨識個人);涉及人臉辨識、個人投票預測的選項即可刪去。
115年第二次初級AI應用規劃師第一科人工智慧基礎概論 第39題

在命名實體辨識(Named Entity Recognition, NER)任務中,模型需根據整句文字判斷每個詞的標籤,並考慮詞與詞之間的關聯性。若採用 Conditional Random Field(CRF)作為模型,下列何者最能描述其模型類型?

  1. A生成式模型(Generative Model);
  2. B無監督模型(Unsupervised Model);
  3. C鑑別式模型(Discriminative Model);
  4. D自迴歸模型(Autoregressive Model)
看正解與逐選項詳解

正解:C

正確答案:(C) 【正解解析】 CRF(Conditional Random Field)直接建模「給定觀測序列 X 下,標籤序列 Y 的條件機率 P(Y|X)」,並考慮相鄰標籤間的轉移關係,以找出整句最可能的標籤排列。凡直接學習條件機率 P(Y|X)、不建模資料本身分布的模型,即屬鑑別式模型(Discriminative Model),CRF 正是序列標註任務中鑑別式模型的代表。 【為何其他選項錯了?】 - (A):生成式模型(Generative Model)建模聯合分布 P(X, Y),描述資料如何生成,例如 HMM、單純貝氏;CRF 不建模觀測序列本身的分布,僅建模條件機率,不屬此類。 - (B):NER 使用 CRF 需要以人工標註的標籤序列進行監督式訓練,並非無監督模型(Unsupervised Model)。 - (D):自迴歸模型(Autoregressive Model)以先前輸出逐步預測下一個詞元,屬生成流程的設計,如 GPT;CRF 是對整體標籤序列做全域判別,不是逐步生成。 提示:區分生成式與鑑別式,看模型建模的是聯合分布 P(X,Y) 還是條件機率 P(Y|X);CRF 屬於後者。
114年第二梯次中級AI應用規劃師第一科人工智慧技術應用與規劃 第1題

某電商企業希望利用自然語言處理(NLP)技術,分析顧客在社群平台與商品評論中的文字內容,以即時掌握顧客對產品的滿意度變化。若採用情感分析(Sentiment Analysis)模型,其主要目的為何?

  1. A預測顧客使用的語言風格與語氣
  2. B判斷文本中所表達的情感傾向
  3. C將顧客留言自動翻譯成企業內部指定語言
  4. D產生顧客評論的自動化摘要內容
看正解與逐選項詳解

正解:B

正確答案:(B) 【正解解析】 情感分析(Sentiment Analysis)是自然語言處理(NLP)中的文本分類任務,目標是判斷一段文字所表達的情感傾向,常見輸出為正面、負面、中性,或更細緻的情緒強度分數。對電商而言,將大量評論自動歸類為正負面後,即可追蹤滿意度隨時間的變化趨勢,正符合題幹「即時掌握顧客滿意度變化」的需求。 【為何其他選項錯了?】 - (A):預測語言風格與語氣屬於風格分析或作者剖析(Author Profiling)的範疇,重點在表達方式;情感分析關注的是文字傳達的態度傾向,兩者目標不同。 - (C):自動翻譯是機器翻譯(Machine Translation)的任務,僅轉換語言,無法直接產出顧客滿意與否的判斷結果。 - (D):產生摘要是文本摘要(Text Summarization)任務,輸出為濃縮後的文字內容,而非情感傾向的分類標籤。 提示:題幹關鍵詞「滿意度變化」對應情感傾向分類;風格分析、翻譯、摘要皆非態度判斷任務。
114年第二梯次中級AI應用規劃師第一科人工智慧技術應用與規劃 第5題

某企業以詞頻–逆文件頻率(Term Frequency–Inverse Document Frequency, TF-IDF)方法分析顧客意見內容,但發現模型在處理篇幅較長的回饋文本時,無法準確反映關鍵詞的重要性。下列何者為造成此現象的主要原因?

  1. A長文本中的詞頻偏高,導致常見詞權重被過度放大
  2. B長文本中缺乏明確句子邊界,造成 TF-IDF 無法計算詞頻
  3. CTF-IDF 無法同時處理多份文件
  4. D長文本會改變 IDF(Inverse Document Frequency)的計算,使所有詞權重趨於相近
看正解與逐選項詳解

正解:A

正確答案:(A) 【正解解析】 TF-IDF 的詞頻(TF)項與文件長度直接相關:文章越長,常見詞出現次數越多,若未進行長度正規化,這些詞的 TF 值會被過度放大,壓過真正具鑑別力的關鍵詞,使長文本的權重計算失真。實務上常以 TF 正規化(除以文件總詞數或取對數)或 BM25 的文件長度懲罰機制緩解此問題。 【為何其他選項錯了?】 - (B):TF-IDF 以「詞」為統計單位,計算詞頻不需要句子邊界資訊,文本即使缺乏明確句界仍可正常計算。 - (C):TF-IDF 本質上即是跨文件集合的方法,IDF 便是由整個文件集合統計而得,「無法同時處理多份文件」與事實相反。 - (D):IDF 以「包含該詞的文件數」計算,單一文件變長不會改變文件集合層級的 IDF 值,也不會使所有詞權重趨於相近;問題出在 TF 端,而非 IDF 端。 提示:區分 TF 與 IDF 的計算來源:TF 受單一文件長度影響,IDF 由整個文件集合決定;長文本失真發生在 TF 端。
114年第二梯次中級AI應用規劃師第一科人工智慧技術應用與規劃 第6題

某企業嘗試以 N-gram語言模型(N-gram Language Model)建立客服自動回覆系統,但發現模型生成的句子雖在片段上合理,卻缺乏整體語意連貫性。此問題最可能源自 N-gram 模型的哪一項限制?

  1. AN-gram 模型在訓練過程中需要龐大計算量,導致長句無法收斂
  2. BN-gram 模型僅根據固定長度的前序詞建立機率估計,難以捕捉長距離依賴關係(Long-range Dependencies)
  3. CN-gram 模型缺乏語意嵌入(Semantic Embedding)層,因此無法表徵詞語間的語意相似度
  4. DN-gram 模型假設詞與詞之間相互獨立,導致無法建構上下文語意關聯
看正解與逐選項詳解

正解:B

正確答案:(B) 【正解解析】 N-gram 語言模型基於馬可夫假設(Markov Assumption),僅以前 N-1 個詞估計下一個詞的機率,固定視窗之外的資訊完全無法納入。因此生成結果在 N 個詞的片段範圍內通順,但跨句、跨段的主題一致性與長距離依賴關係(Long-range Dependencies)無法建模,正好對應題幹「片段合理、整體語意不連貫」的現象。 【為何其他選項錯了?】 - (A):N-gram 以統計計數與查表方式估計機率,計算量小;「收斂」是神經網路迭代訓練的概念,並非 N-gram 模型的限制。 - (C):缺乏語意嵌入(Semantic Embedding)確實是 N-gram 的限制之一,但題幹描述現象的直接原因是固定視窗截斷了上下文資訊,而非語意相似度無法表徵。 - (D):N-gram 並非假設詞與詞完全獨立,它建模的正是與前 N-1 個詞的條件依賴;完全獨立是 unigram 或詞袋模型(Bag-of-Words)的假設。 提示:N-gram 的上下文記憶僅限前 N-1 個詞,視窗外資訊一律遺失,故無法處理長距離依賴。
114年第二梯次中級AI應用規劃師第一科人工智慧技術應用與規劃 第19題

某研究團隊正在訓練一個針對低資源語言(如少數民族語言)的語言模型,但該語言僅有約 1萬筆語料可用。在訓練過程中出現明顯的過擬合現象,若希望在不新增真實語料的前提下提升模型的泛化能力,採用下列哪一種方法最為適合?

  1. A將Transformer 的隱藏層維度擴增至 1024,以提升表徵能力
  2. B採用反向翻譯(Back-Translation)技術,以生成額外目標語句的偽平行語料(Pseudo‑Parallel Corpus)
  3. C對詞嵌入矩陣(Embedding Matrix),施加L1正則化以壓縮模型參數
  4. D將多語言 BERT(mBERT)中所有Transformer 層全部凍結以保留預訓練知識
看正解與逐選項詳解

正解:B

正確答案:(B) 【正解解析】 低資源語言的核心瓶頸是語料不足。反向翻譯(Back-Translation)利用現有翻譯模型,將目標語言的單語資料翻譯回來源語言,生成偽平行語料(Pseudo-Parallel Corpus),等於在不新增真實語料的前提下擴充訓練資料,是低資源機器翻譯與語言模型常用的資料增強手法,可直接緩解資料不足導致的過擬合並提升泛化能力。 【為何其他選項錯了?】 - (A):語料僅約一萬筆卻將隱藏層擴增至 1024 維,參數更多而資料不變,模型容量與資料量的落差擴大,過擬合只會更嚴重,方向完全相反。 - (C):對詞嵌入矩陣施加 L1 正則化雖有抑制過擬合的效果,但屬於治標手段;根本原因是資料量不足,正則化的效益遠不如直接擴充訓練資料。 - (D):將 mBERT 所有 Transformer 層凍結,模型將無法針對目標語言調整參數,難以適應低資源語言的特性;實務上通常凍結底層、微調上層。 提示:題幹限制「不新增真實語料」且要解決過擬合,對應以模型自產資料的增強手法,即反向翻譯。
115年第一次中級AI應用規劃師第一科人工智慧技術應用與規劃 第1題

某工程師正在建置一套法律文件解析系統,在進行資訊擷取(Information Extraction)前,需要對文本進行詞性標註(Part-of-Speech Tagging, POS Tagging)。請問此步驟的主要目的為何?

  1. A將文本翻譯為其他語言以利跨語言分析
  2. B將文本切分為基本詞彙單位,以便後續處理
  3. C判斷文本中各詞彙的情感傾向
  4. D為每個詞彙標記其語法類別,如名詞、動詞與形容詞
看正解與逐選項詳解

正解:D

正確答案:(D) 【正解解析】 詞性標註(Part-of-Speech Tagging, POS Tagging)是為句子中每一個詞彙標記其語法類別,例如名詞、動詞、形容詞、副詞。在資訊擷取(Information Extraction)流程中,詞性提供句法層次的線索:實體(Entity)多出現於名詞或名詞片語,關係(Relation)常由動詞承載;先完成詞性標註,後續的命名實體辨識與關係擷取才能鎖定正確的候選片段。 【為何其他選項錯了?】 - (A):跨語言翻譯是機器翻譯(Machine Translation)的任務,與詞性標註無關;法律文件解析亦不需先翻譯為其他語言才能擷取資訊。 - (B):將文本切分為基本詞彙單位是斷詞(Tokenization),為詞性標註之前的前處理步驟;斷詞負責切割,詞性標註負責分類,兩者分工不同。 - (C):判斷詞彙的情感傾向是情感分析(Sentiment Analysis)的任務,關注態度正負,而非語法類別。 提示:處理順序為先斷詞、再標詞性;題幹問的是「標記語法類別」,直接對應 POS Tagging 的定義。

相關節點