Elastic Net

Lasso 太激進(亂砍相關特徵)、Ridge 太保守(全部留下) — Elastic Net 把 L1 與 L2 懲罰按比例混合,取兩家之長。

核心觀念

損失函數同時加入 L1(係數絕對值和)與 L2(係數平方和)兩種懲罰,用一個混合比例參數控制偏向哪邊:偏 L1 多做特徵選擇,偏 L2 多要穩定性。

白話理解

基因組學資料常有「一整群高度相關的基因」都帶訊號:Lasso 只隨機留一個、其餘全砍,結果不穩定;Ridge 全部留下、不夠精簡;Elastic Net 會讓相關特徵一起被選進或一起被淘汰,同時砍掉真正沒用的。金融風控也一樣:收入、消費、負債類特徵彼此高度相關,它能留下整組訊號,而不是隨機挑一個代表。

關鍵細節

• 本質:L1 加 L2 的加權組合,是 Lasso 與 Ridge 的折衷方案
• 保留 Lasso 的特徵選擇能力,又有 Ridge 的穩定性
• 相關特徵成群進出,修正 Lasso 隨機挑一個的毛病
• 代價:多一個超參數(L1 與 L2 的比例)要調,調參成本稍高
• 極端情況:比例全偏 L1 就退化成 Lasso,全偏 L2 就退化成 Ridge
• 評估同回歸家族:MAE、MSE、RMSE、R²

🎯 口訣:Elastic Net = Lasso 的刀加 Ridge 的盾,比例自己調。

iPAS 考點

判斷關鍵字「同時使用 L1 與 L2」「特徵很多且彼此高度相關」→ Elastic Net。注意它不是第三種新懲罰,而是 L1 與 L2 的混合;三兄弟選型題這樣答:只要精簡選 Lasso、只要穩定選 Ridge、又要選特徵又怕不穩定選 Elastic Net。若題目問「Lasso 在高度相關特徵上不穩定,如何改善」,答案方向也是它。