MySQL 支撐百萬級高併發流量的架構演進實戰

MySQL 單機支撐幾十萬 IP 尚可，但面對百萬甚至千萬級流量便力不從心。本文記錄某團隊從集群、分治、代碼優化到架構重構的演進之路，最終以「寫文件+批量導入」策略破解寫入瓶頸。

方案演進歷程

1. MySQL 叢集方案 → 放棄

受限於資金、人才、技術成熟度，叢集方案對中小團隊不現實。叢集本質是將單機壓力分散到多節點，但運維複雜度極高。

2. 分而治之：多服務器分流統計 → 過渡方案

利用現有低配服務器，將百萬流量拆分為十個十萬級節點統計。
優點：充分利用現有資源，快速解決燃眉之急。
缺點：非長久之計，數據聚合統計極其麻煩，維護成本高。

3. 統計代碼修改：先寫入、後處理 → 失敗

移除插入前的 IP 存在性判斷、來源檢查，直接寫入。雖保留全量數據，但龐大數據量導致後續處理把服務器跑死；保留索引拖慢寫入，去掉索引又導致後處理極慢，得不償失。

4. 架構重構：寫文件 + 批量導入 → 終極方案（效果顯著）

A. 保留原表結構，數據先寫入結構化文件

格式可為 XML、JSON 或自定義規則，例如：

221.2.70.52,https://www.baidu.com,windowxp\r\n
221.2.70.52,https://www.baidu.com,windowxp\r\n

關鍵技巧：使用 error_log() 寫文件
原為寫錯誤日誌，實則極適合高併發追加寫入：
error_log("內容", 3, "/date.dat");

B. 文件命名策略：按時間 + IP 分片，避免單文件過大

• 時間維度：date('YmdH') 如 2008121112，自動生成小時級文件，無需判斷邏輯。
• IP 維度：取 IP 前三段作為文件名一部分，同一 IP 數據聚合，便於後續去重與 PV 統計。

C. 數據導入處理流程

入庫前處理：將同 IP 文件拆分、去重、聚合頁面訪問生成新數據。
高效導入：使用 LOAD DATA INFILE：

$sql = "LOAD DATA INFILE '$file' INTO TABLE `test` 
        FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n' 
        (`time`, `md5`)";

十萬級數據導入秒級完成。核心啟示：解決資料庫瓶頸不一定要加設備、換資料庫，換個思路往往更有效。