微軟全面擁抱 Hadoop：與 Hortonworks 攜手將大數據帶入 Windows Server 與 Azure

2011 年 10 月，SQL PASS 大會上微軟正式宣佈：與 Yahoo 分拆出的 Hadoop 核心團隊創立的 Hortonworks 結盟，將 Apache Hadoop 原生移植至 Windows Server 與 Windows Azure。這標誌著微軟從「觀望」轉向「全擁抱」開源大數據生態，並承諾向 Apache 基金會回饋代碼。

合作時間表與交付物

• 2011 年底： 基於 Hadoop 的 Windows Azure 預覽版發布（HDInsight Service 前身）。
• 2012 年： Windows Server 版 Hadoop 正式版（HDInsight Server），整合 Microsoft BI 堆疊。
• 核心組件： HDFS、MapReduce、Hive、Pig、HBase、Sqoop、Mahout 等完整生態。
• 開發體驗： 簡化下載/安裝/配置；提供 ODBC 驅動連接 Hive，支援 Excel / PowerPivot / Power View 直接查詢 Hadoop。

為何選擇 Hadoop？傳統 RDBMS 的擴展天花板

關聯式資料庫設計初衷是處理結構化資料，ACID 與強一致性導致水平擴展極其困難（Sharding 複雜、跨分區交易昂貴）。而企業 80%+ 新增資料為非結構化：郵件、日誌、點擊流、社群內容、音視頻、感測器數據。Hadoop 以廉價商用硬體叢集、HDFS 多副本容錯、MapReduce 平行計算完美契合此類場景。

競爭格局：三巨頭同台較量

Gartner 分析師 Merv Adrian 指出：Cloudera 仍是 Hadoop 發佈版領導者，但微軟擁有龐大 Windows 使用者基數，若能降低部署門檻，將釋放巨大增量市場。

微軟大數據版圖的另一塊拼圖：Trinity 圖資料庫

同期微軟還發布 Trinity：記憶體內分散式圖資料庫 + 平行計算引擎，支援 ACID 交易、C# Client API、即時查詢與批次 MapReduce 風格計算。已用於 Probase（知識圖譜）與 Aether（廣告系統）。Trinity 定位互補 Hadoop：低延遲圖遍歷 vs 高吞吐批次分析。

對企業 IT 的啟示

1. 混合架構成常態： 核心交易留在 SQL Server / Oracle，非結構化/半結構化資料導入 Hadoop，透過 PolyBase / Sqoop / Hive ODBC 互通。
2. 技能轉型迫在眉睫： DBA 需掌握 HDFS 運維、Hive/Pig/Spark SQL 開發、叢集資源調度；開發者需熟悉資料湖架構、Schema-on-Read 思維。
3. 治理與安全不可缺： 微軟將 AD 整合進 Hadoop，解決「誰能存取什麼資料」的企業級合規需求——這是開源社區版常被詬病的短板。

後續發展回顧（截至 2024）

• HDInsight 成為 Azure 核心 PaaS 服務，支援 Spark、Kafka、HBase、Interactive Query (LLAP) 等多種叢集類型。
• Hortonworks 於 2019 年與 Cloudera 合併，微軟轉而與合併後的 Cloudera 深度合作。
• SQL Server 2016+ 內建 PolyBase，可直接查詢 HDFS / Azure Blob / S3 上的資料，實現關聯與大數據的無縫聯合查詢。
• Azure Synapse Analytics（原 SQL DW）整合 Spark 池，Serverless SQL 隨選查詢資料湖，完成雲端大數據分析平台拼圖。

微軟 2011 年的決定不僅改寫了自身大數據戰略，也加速了 Hadoop 從「極客玩具」走向「企業級基礎設施」的進程。今天，當我們在 Azure Synapse 中用 T-SQL 查詢 Data Lake 上的 Parquet 檔案時，正是那場「擁抱」結出的果實。