DW / Lake

資料要住哪?資料倉儲(Data Warehouse)像精裝樣品屋,進門前先裝潢好;資料湖(Data Lake)像大倉庫,先全堆進來再說。

核心觀念

DW 存結構化資料,走 Schema-on-Write:寫入時就強制套用結構,查詢快、品質穩,天生為報表與 BI 而生。Data Lake 收原始的結構化、半結構化與非結構化資料(JSON、影像、Log),走 Schema-on-Read:讀取時才解釋結構,進料門檻低、彈性大。現代趨勢是 Lakehouse:湖的彈性加上倉儲的治理與查詢能力,一套架構通吃。

白話理解

製造業品管:感測器原始波形、產線照片先全進資料湖——以後訓練瑕疵檢測模型用得上;良率統計等彙整數字進倉儲,供管理層即查即看。誰住哪,看用途。

選型重點

• 固定報表、BI 儀表板、SQL 分析 → DW,查詢效能優先
• 機器學習訓練、原始資料保留、格式雜 → Data Lake,儲存成本低
• 沒有治理的湖會退化成資料沼澤(Data Swamp):存了一堆沒人說得清的檔案
• Lakehouse 讓湖上資料也有交易與 Schema 管理,兼顧兩邊
• 常見組合:Lake 收原料、DW 出成品,兩層並存

🎯 口訣:倉儲先整理再入住(Write),湖先入住再整理(Read);湖不治理,遲早變沼澤。

iPAS 考點

標配題:「Schema-on-Write 對應哪種儲存?」——資料倉儲;「適合存放非結構化原始資料的是?」——資料湖。情境題:「多格式原始資料供未來 AI 訓練」選 Lake、「主管即時查詢結構化報表」選 DW。Lakehouse 是兩者折衷的新趨勢,也開始入題。