Java 實現異構數據庫表映射遷移：ETL 思路與工具選型指南

業務場景

公司 A 需將數據寫入公司 B，雙方表結構不一致（字段名、類型、粒度均可能不同），需建立映射轉換層完成遷移。

核心思路：ETL（Extract-Transform-Load）

1. Extract：從源庫按批次讀取數據（游標/分頁，避免 OOM）；
2. Transform：字段映射、類型轉換、業務規則計算（如枚舉值對齊、外鍵關聯補全）；
3. Load：批量寫入目標庫（PreparedStatement.addBatch / 臨時表 + LOAD DATA）。

映射配置建議

• 使用 **YAML/JSON** 定義映射規則，而非硬編碼：

mappings:
  - source: "a.user_table"
    target: "b.client_table"
    fields:
      - {src: "uid", tgt: "client_id", type: "long"}
      - {src: "nick_name", tgt: "name", type: "string", transform: "trim"}
      - {src: "reg_time", tgt: "created_at", type: "timestamp", transform: "toMillis"}

• 運行時解析配置，動態構建 SELECT / INSERT SQL，便於維護與擴展。

工具選型對比

關鍵工程細節

• 幂等性：目標表主鍵/唯一索引 + ON DUPLICATE KEY UPDATE / MERGE，支援重跑；
• 事務邊界：按批次提交（如 1000 條），失敗回滾並記錄錯誤行；
• 增量同步：源表需有 updated_at / version 字段，配合水位線表實現增量抽取；
• 監控告警：行數對賬、耗時統計、錯誤率閾值觸發告警。

總結

「直接在數據庫操作」雖快但難維護，**配置驅動 + 成熟 ETL 框架** 是長遠之計。小項目可用 Spring Batch，大規模異構同步首選 DataX。