資料知識地圖 · 4. 資料清理
一致性檢查
格式 / 重複 / 跨表一致
觀念教學
每一欄單獨看都沒錯,合起來全是矛盾——一致性檢查就是抓「資料自打嘴巴」的環節。
核心觀念
四個檢查面向:格式統一——日期、數值寫法歸一,同一表裡不能兩種日期格式混用;重複資料刪除(Deduplication)——同一實體多筆紀錄要辨識合併,監控重複率;範圍檢查(Range Check)——數值須落在合理區間,年齡不會兩百歲、折扣不會是負的;跨表參照完整性(Referential Integrity)——訂單表裡的客戶編號,必須真的存在於客戶表。
白話理解
電商資料庫:同一客戶因全形半形差異被建了三筆(重複)、訂單金額出現負數(範圍)、訂單指向已刪除的客戶(參照斷裂)、日期兩種寫法混用(格式)。結果行銷部與財務部算「不重複客戶數」差了 15%,誰都不服誰。
實務做法
- 訂格式規範並寫進資料字典:日期統一格式、金額統一幣別與含稅口徑
- 去重複先做實體識別:用電話、Email 等鍵值模糊比對,不能只看姓名
- 範圍與商業規則檢查自動化,進管線當守門員,違規就攔截或告警
- 跨表一致靠外鍵約束加定期稽核,雙保險
- 用一致性分數追蹤趨勢:大掃除一次不夠,要持續量測
🎯 口訣:格式齊、不重複、在範圍、對得上——四關全過才叫一致。
iPAS 考點
配對題:「訂單引用不存在的客戶編號」屬參照完整性問題;「同一客戶重複多筆」屬重複/唯一性問題。情境題:「兩部門報表數字對不上的最可能原因」——欄位定義與格式不一致,而不是單純計算錯誤。判斷關鍵字:跨表、重複、範圍、格式。