資料知識地圖 · 4. 資料清理

一致性檢查

格式 / 重複 / 跨表一致

在互動地圖中開啟 回資料知識地圖

觀念教學

每一欄單獨看都沒錯,合起來全是矛盾——一致性檢查就是抓「資料自打嘴巴」的環節。

核心觀念

四個檢查面向:格式統一——日期、數值寫法歸一,同一表裡不能兩種日期格式混用;重複資料刪除(Deduplication)——同一實體多筆紀錄要辨識合併,監控重複率;範圍檢查(Range Check)——數值須落在合理區間,年齡不會兩百歲、折扣不會是負的;跨表參照完整性(Referential Integrity)——訂單表裡的客戶編號,必須真的存在於客戶表。

白話理解

電商資料庫:同一客戶因全形半形差異被建了三筆(重複)、訂單金額出現負數(範圍)、訂單指向已刪除的客戶(參照斷裂)、日期兩種寫法混用(格式)。結果行銷部與財務部算「不重複客戶數」差了 15%,誰都不服誰。

實務做法

  • 訂格式規範並寫進資料字典:日期統一格式、金額統一幣別與含稅口徑
  • 去重複先做實體識別:用電話、Email 等鍵值模糊比對,不能只看姓名
  • 範圍與商業規則檢查自動化,進管線當守門員,違規就攔截或告警
  • 跨表一致靠外鍵約束加定期稽核,雙保險
  • 一致性分數追蹤趨勢:大掃除一次不夠,要持續量測
🎯 口訣:格式齊、不重複、在範圍、對得上——四關全過才叫一致。

iPAS 考點

配對題:「訂單引用不存在的客戶編號」屬參照完整性問題;「同一客戶重複多筆」屬重複/唯一性問題。情境題:「兩部門報表數字對不上的最可能原因」——欄位定義與格式不一致,而不是單純計算錯誤。判斷關鍵字:跨表、重複、範圍、格式。

應用場景

格式驗證去重範圍檢查參照完整性

評估指標

一致性分數重複率

相關節點