Microsoft SQL Server 2012 PDW 大數據解決方案：PolyBase 技術深度解析與業務場景實戰

SQL Server 2012 Parallel Data Warehouse (PDW) 為大規模平行處理 (MPP) 一體機，核心突破在於 PolyBase：以標準 T-SQL 統一查詢關聯式資料與 Hadoop 非結構化資料，打破資料孤島。

PDW 三大核心價值

1. 為大數據而建：PolyBase 讓 T-SQL 直接 JOIN Hadoop 外部表與 PDW 內部表，現有 BI 工具 (Excel, Power BI, SSRS) 即可分析全景資料。
2. 新一代效能與規模：xVelocity 叢集欄存 (Clustered Columnstore Index) 最高 50 倍查詢加速；線性橫向擴展至 PB 級。
3. 軟硬體整合優化：預裝 Windows Server 2012 Hyper-V、Storage Spaces、最新 SQL 引擎，開箱即用，降低 TCO。

PolyBase 核心能力

• 外部表定義：CREATE EXTERNAL TABLE 對應 HDFS/Blob 儲存結構 (資料夾、檔案格式、分隔符)。
• 推下查詢：Predicate、Aggregation 盡可能下推至 Hadoop MapReduce/Tez/Spark 執行，僅回傳結果集。
• 跨源聯結：SELECT * FROM pdw.Sales s JOIN hadoop.ClickStream c ON s.UserID = c.UserID。
• 資料攝取/歸檔：CREATE TABLE AS SELECT (CTAS) 從 Hadoop 載入 PDW (高效平行載入)；INSERT INTO hadoop.Archive SELECT ... FROM pdw.HotData 歸檔冷資料。

業務場景：Sandy 颶風救援資源調度

1. 關聯資料 (PDW)：dbo.nws_ffg7 儲存 NOAA 各州未來 1/3/6/12/24 小時降雨預測 (經緯度、州名、HR1~HR24 欄位)。
2. 非結構資料 (Hadoop)：社群媒體災情回報、道路封閉即時資訊、避難所收容狀態 (JSON/CSV 存於 HDFS)。
3. 分析邏輯：
    - 識別 HR6 > 50mm 的高風險州。
    - 聯結 Hadoop 社群資料，偵測「求助關鍵字」熱區。
    - 輸出優先調度清單：州、預測降雨、社群求助熱度、建議物資量。
    - 以 Excel/Power BI 連接 PDW 即時儀表板呈現。

部署架構要點

• 控制節點：接收查詢、解析優化、分發計畫至計算節點。
• 計算節點：各自獨立 SQL Server 執行個體 + 儲存，執行平行查詢片段。
• Hadoop 叢集：獨立或共置 (PDW v2 起支援內建 Hadoop 節點)，透過 PolyBase Engine 通訊。
• 網路：InfiniBand / 10/25/40/100 GbE 低延遲互聯，確保節點間資料重新分發 (Shuffle) 效能。

遷移與現代化建議

• PDW 2012 已進入延伸支援，新專案建議採用 Azure Synapse Analytics (原 SQL DW) 或 SQL Server 2022 Big Data Clusters，繼承 PolyBase 技術並支援 Kubernetes 彈性擴縮。
• 既有 PDW 工作負載可透過 CTAS 跨平台遷移 至 Synapse，語法高度相容。