企業級資料整合的標準流程包含:抽取 從異構來源獲取資料 (資料庫傾印、電子表格、外部系統介接);轉換 執行格式轉換、資料清洗 (字元檢查、範圍驗證)、不合格記錄隔離與修正;加載 將優質資料寫入目標資料倉庫/資料集市。DB2 UDB 提供從輕量級指令到企業級平台的完整工具鏈,滿足簡單表遷移至跨洲際複雜整合的全譜系需求。
採 INSERT 語句逐筆寫入,支援 IXF/WSF/DEL/ASC 四種格式,可 INSERT/REPLACE 模式操作視圖與表。特點:觸發器生效、參考完整性檢查、支援定期 COMMIT 控制交易日誌膨脹、可指定起始跳過筆數斷點續傳。適用於中小量資料、需業務邏輯驗證的場景。典型腳本:
CONNECT TO Library;
DELETE FROM Volume;
IMPORT FROM Volume.csv OF DEL INSERT INTO Volume;
... (其他表同步操作)
COMMIT; TERMINATE;
直接格式化頁寫入磁碟,繞過 SQL 引擎,速度較 IMPORT 快數倍。支援 DEL/ASC/PC-IXF/CURSOR 格式、LOB/UDT 型別。四階段流程 (圖 2):
1. Load:資料寫入表,收集索引鍵/統計資訊,依 SAVECOUNT 建立一致性點,支援 RESTART/TERMINATE 故障恢復。
2. Build:依收集鍵值產生索引,可選統計資訊更新。
3. Delete:移除違反唯一性約束或 DATALINK 衝突的列,違規列可導向例外表。
4. Index Copy:唯讀存取模式下,將系統暫存表空間索引複製回目標表空間。
限制:不觸發 Trigger、不檢查參考完整性/Check Constraint (唯獨索引除外)。適用於 TB 級初始化、批次載入窗口期。
分區鍵決定資料歸屬分區。五大代理角色 (圖 4、5):Coordinator Partition (調度)、Pre-partition Agent (預分區分發)、Partitioning Agent (分區計算)、Load Agent (各分區並行載入)、File Transfer Command Agent (跨系統傳輸)。
五種運作模式:PARTITION_AND_LOAD (分區+載入)、PARTITION_ONLY (僅分區輸出檔案)、LOAD_ONLY (假設已分區直接載入)、LOAD_ONLY_VERIFY_PART (驗證分區正確性)、ANALYZE (產生最佳分區映射)。
ISOLATE_PART_ERRS 選項控制單分區錯誤是否影響全域操作。範例:LOAD FROM LOAD.DEL OF DEL REPLACE INTO Story PARTITIONED DB CONFIG PARTITIONING_DBPARTNUMS (3,4)。
Load Mode=REPLACE 實現週期性全量刷新流程模式切換 Development → Test,目標表出現鎖定圖示,右鍵檢視範例內容確認資料正確載入。生產環境可排程自動執行,DWC 內建排程器支援複雜依賴鏈管理。
Data Warehouse Manager 增加 Information Catalog 管理中繼資料。DB2 UDB Data Warehouse Edition (DWE) 整合 DB2、OLAP Tools、Information Integrator 統一安裝。第三方 ETL 工具 (Informatica, DataStage 等) 可透過標準介面對接 DB2,減少自行開發負擔。
| 場景 | 推薦工具 | 關鍵考量 |
|---|---|---|
| 小量資料、需觸發器/完整性檢查 | IMPORT | SQL 層面處理、易除錯 |
| 大量初始化、批次窗口、TB 級 | LOAD | 頁級寫入、四階段容錯、不檢查 RI |
| 分叢集環境、跨系統傳輸 | DPF LOAD | 並行分區、五模式靈活切換 |
| 企業級數倉、中繼資料管理、排程 | DWC / DWE | 圖形化設計、端到端治理、BI 整合 |
| 異構即時整合、聯邦查詢 | Information Integrator | 虛擬化存取、CDC 變更捕獲 |
DB2 UDB ETL 方案從單機指令到分叢集平台、從技術工具到治理平台,提供完整成熟度模型。建議依資料量級、時效性、治理需求分階段採用:專案初期用 IMPORT/LOAD 快速原型,中期導入 DWC 建立標準化流程,成熟期升級 DWE 整合 OLAP/報表實現全價值鏈。