深度學習知識地圖 · NLP 與 LLM
NLP 與 LLM
RNN, BERT, GPT
觀念教學
NLP(自然語言處理)讓電腦「讀懂」也「寫出」人類語言 — 從聽懂客訴、翻譯合約,到 ChatGPT 與 Claude,都是同一條技術長河。
核心觀念
技術演進一條龍,每一站都是考點:規則式(人工寫文法規則,脆弱難擴充)→ Word2Vec(把詞變成向量,詞義可以做數學)→ RNN / LSTM(按順序讀、帶著記憶的序列模型)→ Transformer(自注意力、可平行處理)→ 兩大路線:BERT 雙向讀上下文、用克漏字預訓練,強在理解;GPT 自回歸、一路預測下一個字,強在生成 → 規模放大,進入 LLM 大語言模型時代(ChatGPT、Claude)。
白話理解
選舉期間的輿情分析是標準應用:對社群貼文做情感分析(態度正負)、主題分析(在吵哪些議題)、命名實體辨識(NER)(抓出政策、人物、機構名),整合起來看選民對各政策議題的態度傾向 — 全程只分析文字內容,不需要辨識任何個人身份。
關鍵細節
- 經典應用:聊天機器人、機器翻譯、情感分析、文本摘要、程式碼生成
- NER 是序列標註任務:每個詞給一個標籤,而且要看整句、考慮詞與詞之間的關聯
- CRF(條件隨機場):在輸出層建模「相鄰標籤的依賴關係」,讓整句標註全局最佳,而不是逐詞獨立猜
- 評估:語言模型品質看 Perplexity(困惑度,越低越好);翻譯與生成比對參考文本用 BLEU
- BERT 對 GPT 一句話:BERT 雙向讀完再判斷(理解型),GPT 一路往右寫(生成型)
🎯 口訣:讀懂找 BERT、寫作找 GPT;序列標註加 CRF,標籤不孤單。
iPAS 考點
兩個真題方向。其一,輿情分析情境:問「哪種技術組合符合需求,且不涉及對特定個人的身份辨識」— 往情感分析、主題模型、NER 這類純文本分析組合選;混入人臉辨識或個資比對的選項就是陷阱。其二,CRF 在 NER 的角色:根據整句判斷每個詞的標籤,並建模標籤之間的關聯性,不是獨立分類每個詞。BERT 對 GPT(雙向理解對單向生成)則幾乎是必考送分題。
📝 本節掛載 2 題 iPAS 歷屆試題 — 讀完往下到「iPAS 考題練習」直接實戰。
應用場景
評估指標
iPAS 歷屆考題詳解(7 題)
先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。
某地方政府委託資料科學團隊,針對選舉期間的社群媒體貼文進行大規模輿情分析,目標是了解選民對各政策議題的態度傾向。團隊規劃整合多種AI 技術以提升分析涵蓋率。下列哪一種技術組合最符合上述需求,且不涉及對特定個人的身份辨識?
- A情感分析結合關鍵詞提取,分析貼文內容的立場與高頻議題詞彙;
- B文本分類結合人臉辨識,辨識發文者身份後再進行政治立場分類;
- C語音辨識結合影像辨識,將選舉造勢影片轉換為可分析的文字資料,並進行內容整理與主題歸納;
- D推薦系統結合社群圖譜分析,針對個別使用者預測其投票選擇
看正解與逐選項詳解
正解:A
在命名實體辨識(Named Entity Recognition, NER)任務中,模型需根據整句文字判斷每個詞的標籤,並考慮詞與詞之間的關聯性。若採用 Conditional Random Field(CRF)作為模型,下列何者最能描述其模型類型?
- A生成式模型(Generative Model);
- B無監督模型(Unsupervised Model);
- C鑑別式模型(Discriminative Model);
- D自迴歸模型(Autoregressive Model)
看正解與逐選項詳解
正解:C
某電商企業希望利用自然語言處理(NLP)技術,分析顧客在社群平台與商品評論中的文字內容,以即時掌握顧客對產品的滿意度變化。若採用情感分析(Sentiment Analysis)模型,其主要目的為何?
- A預測顧客使用的語言風格與語氣
- B判斷文本中所表達的情感傾向
- C將顧客留言自動翻譯成企業內部指定語言
- D產生顧客評論的自動化摘要內容
看正解與逐選項詳解
正解:B
某企業以詞頻–逆文件頻率(Term Frequency–Inverse Document Frequency, TF-IDF)方法分析顧客意見內容,但發現模型在處理篇幅較長的回饋文本時,無法準確反映關鍵詞的重要性。下列何者為造成此現象的主要原因?
- A長文本中的詞頻偏高,導致常見詞權重被過度放大
- B長文本中缺乏明確句子邊界,造成 TF-IDF 無法計算詞頻
- CTF-IDF 無法同時處理多份文件
- D長文本會改變 IDF(Inverse Document Frequency)的計算,使所有詞權重趨於相近
看正解與逐選項詳解
正解:A
某企業嘗試以 N-gram語言模型(N-gram Language Model)建立客服自動回覆系統,但發現模型生成的句子雖在片段上合理,卻缺乏整體語意連貫性。此問題最可能源自 N-gram 模型的哪一項限制?
- AN-gram 模型在訓練過程中需要龐大計算量,導致長句無法收斂
- BN-gram 模型僅根據固定長度的前序詞建立機率估計,難以捕捉長距離依賴關係(Long-range Dependencies)
- CN-gram 模型缺乏語意嵌入(Semantic Embedding)層,因此無法表徵詞語間的語意相似度
- DN-gram 模型假設詞與詞之間相互獨立,導致無法建構上下文語意關聯
看正解與逐選項詳解
正解:B
某研究團隊正在訓練一個針對低資源語言(如少數民族語言)的語言模型,但該語言僅有約 1萬筆語料可用。在訓練過程中出現明顯的過擬合現象,若希望在不新增真實語料的前提下提升模型的泛化能力,採用下列哪一種方法最為適合?
- A將Transformer 的隱藏層維度擴增至 1024,以提升表徵能力
- B採用反向翻譯(Back-Translation)技術,以生成額外目標語句的偽平行語料(Pseudo‑Parallel Corpus)
- C對詞嵌入矩陣(Embedding Matrix),施加L1正則化以壓縮模型參數
- D將多語言 BERT(mBERT)中所有Transformer 層全部凍結以保留預訓練知識
看正解與逐選項詳解
正解:B
某工程師正在建置一套法律文件解析系統,在進行資訊擷取(Information Extraction)前,需要對文本進行詞性標註(Part-of-Speech Tagging, POS Tagging)。請問此步驟的主要目的為何?
- A將文本翻譯為其他語言以利跨語言分析
- B將文本切分為基本詞彙單位,以便後續處理
- C判斷文本中各詞彙的情感傾向
- D為每個詞彙標記其語法類別,如名詞、動詞與形容詞
看正解與逐選項詳解
正解:D