分散式資料庫叢集中間件開發藍圖：核心模組、技術棧與架構決策
作為一款分散式資料庫中間件（如 MyCat、ShardingSphere、Vitess、自研 Proxy）的開發者，需在網路模型、執行緒模型、記憶體管理、日誌體系、元資料持久化五大基建上做技術選型，並在分片路由、讀寫分離、分散式事務、SQL 改寫四大核心功能上深耕。本文梳理開發藍圖，供新入門研發建立全景認知。
一、名稱拆解與能力邊界
- 分散式：多節點協作、網路分區容忍、一致性協議（Raft/Paxos/2PC/3PC）。
- 資料庫叢集：後端掛載 MySQL/PostgreSQL 等實例組成的邏輯叢集，支援分庫分表、主從複制、故障轉移。
- 中間件：Client 視角的「虛擬資料庫」，屏蔽後端拓撲，提供統一 SQL 入口、連接池、結果集合併。
二、五大基建技術選型
| 領域 | 決策點 | 主流方案 | 建議 |
|---|
| 網路編程 | I/O 模型 | Reactor (Netty)、Proactor (IOCP)、libevent、libuv、ASIO | Java 生態首選 Netty；Go/Rust 用標準庫/tokio；C++ 用 ASIO/libuv |
| 執行緒模型 | 並發處理 | 單 Reactor 多 Worker、主從 Reactor、多 Reactor | CPU 核心數 * 2 Worker，無鎖隊列分發 |
| 記憶體管理 | 分配/回收 | JVM 堆/Off-heap、Go GC、C++ 智慧指標/物件池/arena | 熱路徑物件池化（ByteBuf、Protocol Packet），避免 GC 抖動 |
| 日誌體系 | 結構化/分級/輪轉 | Log4j2/Logback、Zap、spdlog | JSON 結構化、TraceID 貫穿、異步落盤 |
| 元資料持久化 | Schema/路由規則/熔斷狀態 | ZooKeeper、etcd、Consul、Nacos、本地檔案+版本號 | 生產必上分散式配置中心，支援熱更新、版本回滾 |
三、四大核心功能模組
- 分片路由：
- 演算法：Range、Hash、Mod、一致性 Hash、Hint、複合。
- 支援強制路由、綁定表、廣播表、全域表。
- 讀寫分離：
- 主庫寫、從庫讀；權重負載均衡；延遲感知路由（秒級延遲自動降級讀主庫）。
- 分散式事務：
- XA 兩階段提交（強一致、性能損耗大）。
- TCC/Seata AT 模式（最終一致、業務侵入性較小）。
- 本地訊息表/事務訊息（RocketMQ/Kafka）。
- SQL 改寫與執行計劃優化：
- 解析 AST → 改寫邏輯表→物理表、補全分片鍵、下推條件、分頁改寫（
LIMIT 10000,10 → ID > max_id LIMIT 10）。
- 成本模型估算、執行計劃快取。
四、架構決策清單（新專案必答）
- 語言：Java（生態成熟）/ Go（部署簡單、並發強）/ Rust（極致效能、記憶體安全）。
- 協議：MySQL Protocol / PostgreSQL Protocol / 私有二進制協議。
- 部署模式：Sidecar / 獨立 Proxy / 庫表雙層代理。
- 狀態：無狀態（易擴縮容） vs 有狀態（需一致性協議）。
- 高可用：主備熱備 / 多活 / 哨兵 / Raft 選主。
- 可觀測性：Metrics (Prometheus)、Tracing (Jaeger/Zipkin)、Logging (ELK)。
五、學習路徑建議
- 精通 MySQL 協議封包格式（握手、查詢、結果集、COM_STMT_PREPARE）。
- 研讀開源中間件核心碼：MyCat（路由/改寫）、ShardingSphere（SPI/分片演算法）、Vitess（vtgate/vttablet 拓撲管理）。
- 實作最小可用 Proxy：TCP 轉發 → 協議解析 → 簡單路由 → 結果集合併 → 連接池。
- 攻克分散式事務：Seata 源碼、Raft 實作（etcd/raft、bbolt/raft）。
中間件是資料庫上層建築的「操作系統」，技術廣度深度極大，**從最小閉環起步、持續迭代**是唯一可行路徑。
