Enhydra school
考古題總覽 Enhydra Lab 企業平台

機器學習知識地圖 · 監督式學習

線性回歸

最基礎的回歸演算法

在互動地圖中開啟 回機器學習知識地圖

觀念教學

一條直線打天下 — 線性回歸(Linear Regression)是最基礎的回歸演算法,也是理解一切機器學習的起點。

核心觀念

用一條直線(特徵多時是超平面)去擬合資料點,預測連續數值。公式白話版:預測值 = 截距 + 係數一乘特徵一 + 係數二乘特徵二,依此類推;訓練就是找出讓「誤差平方和」最小的那組係數。

白話理解

給一堆(坪數, 房價)的資料,它畫出一條最佳直線;之後輸入坪數,沿著線讀出預測房價。銷售額預測、氣溫預測這類「特徵變大、結果跟著變」的問題都適用。

優缺點

  • 優點:簡單、快速、可解釋 — 係數直接告訴你每個特徵的影響力,例如坪數每加一坪、房價加多少萬
  • 缺點:只能抓線性關係,資料是曲線或複雜模式就失準
  • 缺點:特徵太多容易過擬合,需搭配 Ridge 或 Lasso 正則化
  • 缺點:對離群值敏感,一筆天價豪宅能拉歪整條線
  • 評估用 MAE、MSE、RMSE、R²;R² 越接近 1 代表解釋力越好
🎯 口訣:一條直線找關係,係數就是影響力。

iPAS 考點

判斷關鍵字「預測連續數值、模型可解釋」→ 線性回歸。最經典的陷阱是它與邏輯斯回歸的分工:線性回歸預測數值,邏輯斯回歸做分類 — 兩個名字都有「回歸」,用途卻不同,選項故意互換時別上當。

應用場景

房價預測銷售額預測簡單趨勢分析

評估指標

MAEMSERMSER²

iPAS 歷屆考題詳解(4 題)

先自行作答,再展開詳解。題目出處均為 iPAS AI 應用規劃師正式考題,著作權屬原主辦單位。

114年第二梯次中級AI應用規劃師第二科大數據處理分析與應用 第36題

某研究人員欲使用線性迴歸模型（Linear Regression Model）分析變數Y與X之間的關係，但發現 Y的分佈明顯右偏，且其變異數隨 X 的增大而增加。為滿足模型假設並提升配適效果，下列哪一種前處理方法最為合適？

  1. A對X進行標準化（Standardization）
  2. B對Y進行Box–Cox轉換（Box–Cox Transformation）
  3. C對資料進行一次差分（First Differencing）
  4. D將Y中變異較大的樣本移除
看正解與逐選項詳解

正解:B

正確答案:(B) 【正解解析】 題目指出兩個問題:Y 明顯右偏、變異數隨 X 增大(異質變異)。Box–Cox 轉換透過冪次轉換族(對數轉換是其特例)對 Y 做變換,可同時處理兩者:壓縮右尾使分佈更接近常態,並穩定變異數(Variance Stabilizing),讓線性迴歸的常態性與等變異假設更能成立,是處理此類問題的標準方法。 【為何其他選項錯了?】 - (A):標準化 X 僅是線性平移與縮放,不會改變 Y 的偏態,也無法處理變異數隨 X 增大的問題。 - (C):差分是時間序列去趨勢、處理非定態的手法;題目沒有時間結構,適用場合錯誤。 - (D):移除變異較大的樣本是選擇性刪除資料,會引入偏誤;異質變異是結構性現象,刪樣本無法解決,且傷害推論效度。 提示:Y 右偏且變異數隨均值增大,對 Y 做 Box–Cox 或對數轉換;Box–Cox 僅適用正值,含零或負值需先平移。
114年第二梯次中級AI應用規劃師第二科大數據處理分析與應用 第50題

使用行銷資料集(DataFrame 變數為 df,欄位為 youtube、facebook、newspaper、sales),且資料集已填補遺漏值。執行以下程式碼: from sklearn.linear_model import LinearRegression import statsmodels.api as sm X = df[['youtube', 'facebook', 'newspaper']] y = df['sales'] reg = 空格1 print(reg.coef_) X2 = sm.add_constant(X) model_sm = 空格2 print(model_sm.summary()) OLS 迴歸結果(No. Observations: 200,R-squared: 0.898)的係數表如下: const:coef 3.5561,P>|t| 0.000 youtube:coef 0.0455,P>|t| 0.000 facebook:coef 0.1891,P>|t| 0.000 newspaper:coef -0.0006,P>|t| 0.914 針對下列敘述: A:空格1完整語法 reg = LinearRegression().fit(y, X) B:空格1完整語法 reg = LinearRegression().fit(X, y) C:print(reg.coef_) 結果為包括截距項等 4 個係數值 D:空格2完整語法 sm.OLS(X2, y).fit() E:model_sm 迴歸模型的所有迴歸係數在 α=0.05 之下具有顯著的解釋力 F:截距項係數值為 3.5561 下列何者正確?

  1. AB、C、F
  2. BB、F
  3. CA、C、D、F
  4. DB、E
看正解與逐選項詳解

正解:B

正確答案:(B) 【正解解析】 敘述 B 正確:scikit-learn 的擬合方法簽名是 fit(X, y),特徵矩陣在前、目標變數在後,空格1應為 LinearRegression().fit(X, y)。敘述 F 正確:OLS 摘要中 const 的係數即截距項,值為 3.5561。六個敘述中僅 B 與 F 成立,故選 (B)。 【為何其他選項錯了?】 - (A):多納入了敘述 C。reg.coef_ 只包含 youtube、facebook、newspaper 三個特徵係數,不含截距項;截距需另查 reg.intercept_,因此是 3 個值而非 4 個。 - (C):敘述 A 把 fit 的參數順序寫反(正確為 fit(X, y));敘述 D 也錯,statsmodels 的簽名是 sm.OLS(endog, exog),應寫成 sm.OLS(y, X2),目標變數在前,與 scikit-learn 相反;此組合同時包含多個錯誤敘述。 - (D):敘述 E 錯誤,newspaper 的 p 值為 0.914,遠大於 0.05,並不顯著,「所有迴歸係數皆具顯著解釋力」不成立。 提示:sklearn 是 fit(X, y),statsmodels 是 OLS(y, X),兩套 API 順序相反;coef_ 不含截距,截距在 intercept_。
114年第二梯次中級AI應用規劃師第三科機器學習技術與應用 第24題

某房地產公司利用多元迴歸模型（Multiple Regression Model）預測房價，並繪製殘差圖（Residual Plot）檢查模型品質。結果顯示部分資料點的殘差極大，且在高價區樣本中出現系統性彎曲分佈現象。根據此觀察，下列何者為最可能的正確解釋？

  1. A模型過度擬合（Overfitting），導致在訓練資料上表現過好、泛化能力不足
  2. B模型特徵數量不足，導致欠擬合（Underfitting）
  3. C模型存在異常值（Outlier）或非線性關係，違反迴歸假設
  4. D殘差圖呈現隨機分佈，表示模型已完全符合所有假設
看正解與逐選項詳解

正解:C

正確答案:(C) 【正解解析】 殘差圖是迴歸診斷的重要工具:健康的模型殘差應隨機、均勻地散佈在零線附近,沒有任何規律。題目觀察到兩個徵兆:部分資料點殘差極大(存在異常值 Outlier),高價區樣本殘差呈系統性彎曲(模型遺漏非線性關係,線性假設被違反)。這正是「存在異常值或非線性關係、違反迴歸假設」的典型證據;對策包括處理離群值、加入多項式項或進行變數轉換。 【為何其他選項錯了?】 - (A):過度擬合的特徵是模型過度貼合訓練資料、訓練殘差普遍極小,與「殘差極大+系統性彎曲」的觀察相反。 - (B):欠擬合通常表現為整體擬合度差;題目的證據(特定區段系統性彎曲加上極端殘差點)更明確指向非線性與異常值,(C) 的解釋更完整貼題。 - (D):題幹明確指出殘差出現系統性彎曲,「隨機分佈、完全符合假設」與題目觀察直接矛盾。 提示:殘差圖出現系統性圖案(彎曲、漏斗形)代表模型假設被違反;殘差如隨機噪點才是健康狀態。
115年第一次中級AI應用規劃師第三科機器學習技術與應用 第5題

某工程師完成多元線性迴歸模型後，繪製殘差圖（Residual Plot），發現殘差隨預測值增大而呈現擴散現象（右側明顯比左側分散）。此現象最可能代表什麼問題？

  1. A殘差之間存在關聯
  2. B特徵之間高度相關
  3. C殘差變異數不一致
  4. D殘差不符合常態分布
看正解與逐選項詳解

正解:C

正確答案:(C) 【正解解析】 殘差圖中,殘差的散布幅度隨預測值增大而擴大(呈喇叭形、扇形),代表誤差的變異數不是常數,這就是異質變異數(Heteroscedasticity),違反線性迴歸「同質變異數」的基本假設。房價等金額型目標常見此現象(金額越大誤差越大),常用對策是對目標值做對數轉換,或改用加權最小平方法(WLS)。 【為何其他選項錯了?】 - (A):殘差之間存在關聯(自相關)多出現在時間序列資料,診斷依靠 Durbin-Watson 檢定或殘差對時間的圖形,而非「隨預測值擴散」的形狀。 - (B):特徵之間高度相關是多重共線性問題,診斷使用 VIF 或相關係數矩陣;殘差圖無法直接顯示共線性。 - (D):殘差是否符合常態分布應以 Q-Q 圖或直方圖檢視;喇叭形反映的是散布寬度隨預測值改變,是變異數問題,不是分布形狀問題。 提示:殘差圖喇叭形對應異質變異數;Q-Q 圖偏離對應非常態;DW 檢定對應自相關;VIF 對應共線性。

相關節點

回歸問題評估指標監督式學習Ridge (L2)Lasso (L1)Elastic Net分類問題邏輯斯回歸