Twitter 開源 MySQL 到 Hadoop 遷移工具 Crane：架構解析與數據分析平台演進

背景

Twitter 大部分結構化數據存儲於 MySQL，小部分於 Cassandra。為支撐海量數據分析（如用戶搜索、推薦），需將 MySQL 數據高效同步至 Hadoop 生態（HDFS/HBase）。

Crane 核心定位

• **MySQL → HDFS/HBase** 增量/全量同步管道；
• 基於 Google 內部數據分析設施設計思路構建；
• 作為 Hadoop 生態補充，支撐 Twitter 內部數據倉庫與實時分析。

技術架構要點

業務價值

• 將離線分析從 MySQL 主庫剝離，保護核心業務穩定；
• 統一數據湖，支撐機器學習特徵工程、用戶畫像、A/B 實驗分析；
• 開源回饋社區，推動 MySQL→Hadoop 生態工具鏈成熟。

原文鏈接

開源中國社區：Twitter 將開源 MySQL/Hadoop 遷移工具