運維視角 MySQL 數據庫演進優化全生命週期：從單機到分布式架構

前言

成熟的數據庫架構非一蹴而就，而是隨業務增長逐階演進。本文從運維視角，劃分五大階段：表設計 → 部署架構 → 單機優化 → 架構擴展 → 日常維護，給出各階段核心問題與解決方案。

第一階段：數據庫表設計（開發主導，運維把關）

• 核心風險：無索引/錯誤索引、大表無分區、字段類型冗余、外鍵濫用導致鎖競爭
• 運維介入點：Code Review 階段審核建表 SQL、強制命名規範、推廣 pt-online-schema-change 線上變更
• 關鍵指標：慢查詢佔比、鎖等待時間、表大小增長率

第二階段：單機部署與高可用（QPS < 1500）

架構：MySQL 主從 + Keepalived/VIP

          [Client]
             │
             ▼
      [Keepalived VIP]
         │         │
    [Master]    [Slave]  (同步複製，Slave 只讀)
     讀寫        讀/備份

軟件選型：Keepalived（VRRP，輕量）、Heartbeat（老牌）、MHA（主從故障切換，推薦）。

第三階段：單機極致優化（QPS 1500-2500）

3.1 實例級：多實例部署

單機運行多個 MySQL 實例（不同端口、數據目錄、配置），榨乾多核 CPU 與內存帶寬，mysqld_multi 管理。

3.2 參數調優三層次

3.3 系統內核優化

# /etc/sysctl.conf
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_tw_buckets = 4096
net.ipv4.tcp_max_syn_backlog = 4096

# /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535

3.4 硬件升級

• 內存：越大越好，Buffer Pool + OS Cache 雙受益
• 存儲：SSD/NVMe 替代 SAS，RAID 10 提供最佳 IOPS/帶寬平衡

第四階段：架構水平擴展（QPS > 2500）

4.1 讀寫分離：一主多從 + 負載均衡

[App] → [Proxy: LVS/HAProxy/Nginx] → [Slave1, Slave2, ...] (讀)
         │
         └─→ [Master] (寫) + [Master-Standby] (高可用)

代碼層實現讀寫分離性能最佳；中間件方案有 MySQL Proxy、Amoeba、MyCat、ShardingSphere。

4.2 多主寫入一致性：MMM 架構

雙主同步複製易產生數據衝突。MySQL-MMM（Perl 開發）核心機制：同一時刻僅一個 Master 提供寫服務，VIP 漂移實現故障切換，保證寫入單點一致性。

4.3 分布式緩存層

• Memcached：純內存、多線程、QPS 8w+、無持久化
• Redis：持久化、豐富數據結構、Lua 腳本、集群模式，性能不遜 Memcached
• 模式：Cache-Aside（旁路緩存），讀穿透、寫雙刪/延雙刪策略

4.4 分庫分表策略

4.5 分區表

MySQL 原生 Partitioning（Range/List/Hash/Key），邏輯上單表，物理分文件/磁盤。優點：無需應用改造、自動分區裁剪、歷史數據快速歸檔（DROP PARTITION）。

第五階段：日常運維體系

5.1 核心指標監控

QPS = Questions / Uptime
TPS = (Com_commit + Com_rollback) / Uptime
-- 或以 Com_* 計算，InnoDB 多用 Com_*，MyISAM 多用 Questions

5.2 慢查詢日誌體系

slow_query_log=1
long_query_time=1
log_queries_not_using_indexes=1
slow_query_log_file=/var/log/mysql/slow.log

分析工具鏈：mysqldumpslow（簡易）→ pt-query-digest（全功能，支持 slowlog/binlog/general log）。

5.3 備份策略

• 小庫：mysqldump 邏輯備份
• 大庫（>100G）：XtraBackup 物理熱備份，支持增量、流式、壓縮、並行，不阻塞業務
• 策略：全備（週）+ 增備（日）+ Binlog（實時），定期演練恢復

5.4 表損壞修復

5.5 系統資源觀測

• CPU：mpstat -P ALL 1 關注 %iowait、%soft
• I/O：iostat -d -x -k 1 關注 %util（100% 為瓶頸）、await、IOPS=r/s+w/s
• RAID 10 IOPS 理論 ~1200，SAS 順序帶寬 300MB/s，SSD 600MB/s

展望：超越關係型瓶頸

百萬級 QPS、PB 級存儲、實時分析場景下，關係型數據庫達到物理極限。演進方向：

• NoSQL：MongoDB（文檔）、HBase/Cassandra（寬表）、Redis（KV）
• 分布式存儲：HDFS、Ceph、JuiceFS
• 計算引擎：Flink（流）、Spark/ClickHouse（OLAP）

運維核心能力從「調優單機 MySQL」轉向「設計演進數據架構」，持續學習前沿技術，方能應對業務無限增長。