您现在的位置：程式碼之家 >> 數據庫知識 > >> DB2 資料庫 >> DB2 教學

DWE-SQW 實戰：打造可視化、自動化、可控的企業級 ETL 流程

編輯：DB2 教學

業務場景：跨國零售商的數據整合挑戰

某跨國零售企業經營服飾、鞋履、配飾、家電、食品五大品類，歷經多年系統升級，遺留多套結構迥異的交易型資料庫與歷史備份。銷售管理層需分析多年銷售趨勢發掘獲利機會，資料架構師設計星型綱要數據倉庫 (圖 2)，面臨核心難題：如何將零散、不一致的異構歷史資料高可靠地導入統一倉庫？

SQW 核心架構：雙環境分離與關鍵術語

SQL Warehousing Tool (SQW) 隸屬 DB2 Warehouse Enterprise v9.1.1，採 Design Studio (客戶端/Eclipse 嵌入) + Admin Console (伺服器端/WebSphere 部署) 雙環境架構：

術語	定義	所屬環境
Workspace	本地專案目錄，單用戶獨佔	Design Studio
Data Warehouse Project	模型與流程集合，含多專案	Design Studio
SQL Execution Database (SEDB)	SQL 執行中介資料庫 (必須為 DB2)	Design Studio
Dataflow	來源→轉換→目標的有向無環圖，繫結 SEDB	Design Studio
Subflow	可重用轉換邏輯片段，參數化來源/目標	Design Studio
Control Flow	Dataflow 排程編排，整合 FTP/Command/Email/分支/迴圈	Design Studio
Application	Control Flow 打包部署單元 (.zip)	跨環境
Process	Admin Console 中部署的 Application 執行單元	Admin Console
Instance	Process 的具體執行實例	Admin Console

應用生命週期：五階段交付流水線 (圖 3)

環境建置：安裝 DWE (含 DB2、WAS 必備組件)
設計驗證：Design Studio 中建模、Dataflow/Control Flow 開發除錯
打包部署準備：生成可部署 Application (.zip)
生產部署：Admin Console 部署、綁定資料源/系統資源/變數
運行管理：執行/排程/監控/日誌追蹤/版本卸載

Design Studio 開發工作流深度解析 (圖 5)

階段 1：導入/建立物理模型 (圖 6)

透過 JDBC 反向工程現有資料庫結構 (表/視圖/函數)，或從頭建模。模型為 SQW 可操作對象，支援用戶修改後同步資料庫結構。支援多種 RDBMS (DB2 系列、Oracle、SQL Server、Informix 等)。

階段 2：Dataflow 圖形化開發與代碼生成

GUI 拖曳設計轉換步驟 (來源/目標/轉換算子)。執行時生成 Java 代碼 (清單 1)，基本單元為 SQL Unit：包含 SQL 語句、TRY/CATCH/FINALLY、屬性定義。每個 SQL Unit 對應唯一 Node 名稱，支援以 Node 為最小粒度除錯。範例片段：

EPGTXN ( ) : type TXN : node /graph12 (db connection = [SALES])
{
  ( ):CODE_UNIT, node /graph12/node9;
  CODE_UNIT:JDBC ( ) { CREATE TABLE SQWTMP_1_INPUT2_017( COL_1 DATE, COL_2 VARCHAR(15), ... ) }
  ( ):CODE_UNIT, node /graph12/node12; ...
}

階段 3：Control Flow 編排與除錯

序列化多個 Dataflow，整合 FTP 檔案傳輸、Shell 命令、Email 通知、條件分支、迴圈迭代器。生成代碼不含 SQL (清單 2)，同樣以 Node 為除錯單位：

CODE_UNIT:SHELL (OperatorTag=/flow:06/op:02, OperatorLabel=DB2_Shell_02, ...)
commandType = DB2Shell, logLevel = 0, traceLevel = 0 ...

階段 4：Application 打包部署精靈

驗證無誤後，一鍵生成 .zip 部署包，完成 Design Studio 端工作。

Admin Console 生產環境運維體系 (圖 7、8、9)

架構整合：WAS 服務編排

用戶 HTTP 請求 → WAS HTTP Server → DWE Admin Console → 調用 WAS Scheduler/MBean/JNDI/Security → DB2 持久化/查詢。提供企業級安全性、穩定性、擴展性。

角色權限模型 (ACL)

角色	權限範圍
Administrators	建立資料源/系統資源、部署應用
Managers	執行/監控 Process、建立 Profile、排程 Process
Operators	執行/監控 Process，權限低於 Managers

存取 URL：https://ip:9080/dweadm