MySQL 百萬級高併發實戰攻略：從寫入瓶頸到檔案落地重構

案例背景

• 單日 PV 近 1 億，MySQL 單點寫入崩潰，統計系統全天零資料。
• 團隊資源有限，排除叢集、分庫分表 (成本/技術門檻高)。

演進軌跡與失敗教訓

最終制勝方案：寫入檔案落地 + 異步批次入庫

核心架構

請求 → PHP error_log() 寫入本地檔案 (按小時+IP分片)
                          ↓
              離線處理腳本 (每小時/每日)
              1. 讀取檔案 → 去重/聚合 (同 IP 合併 PV)
              2. LOAD DATA INFILE 批次入庫 (秒級百萬行)
                          ↓
                   統計報表正常跑

關鍵技術細節

1. 檔案命名： stats_2024011514_221.log (YYYYMMDDHH_IP前三段)。
2. 寫入函數： error_log($line, 3, $file) — 系統級追加寫入、自動鎖定、效能極高。
3. 去重邏輯： 同 IP 同 URL 合併計數，減少 90%+ 入庫行數。
4. 入庫指令：

   LOAD DATA INFILE '/path/stats_2024011514_221.log'
   INTO TABLE stats
   FIELDS TERMINATED BY ','
   LINES TERMINATED BY '\n'
   (`access_time`, `url_md5`, `ip`, `ua`);

效能對比

架構原則總結

1. 寫入路徑極簡化： 不做查重、不做邏輯、只落地。
2. 計算下沉離線： 複雜聚合移至批次腳本，不阻塞線上。
3. 利用資料庫批次工具： LOAD DATA INFILE 是 MySQL 最高效入庫方式。
4. 冪等設計： 檔案可重複處理，主鍵/唯一鍵保證冪等。

適用場景擴展

• 日誌收集、點擊流、IoT 遙測、廣告曝光/點擊統計。
• 任何「寫多讀少、允許秒級延遲」的高併發寫入場景。

解決資料庫瓶頸不一定要加硬體、換引擎、上叢集；**換個思路，把寫入變成順序追加檔案**，往往能以 1/10 成本獲得 100 倍吞吐。