RCA 案例分析：MySQL JDBC 驅動 CancelTask 積壓導致 Full GC 事故

RCA 案例分析：MySQL JDBC 驅動 CancelTask 積壓導致 Full GC 事故

本文記錄一次線上 Java 服務因 MySQL Connector/J 驅動缺陷引發頻繁 Full GC 的完整根因分析 (RCA) 過程，包含現象觀測、堆棧分析、源碼追溯、壓測驗證與升級治理全鏈路。

事故現象

• 時間：2015-04-22 晚間
• 服務：TaskMall (Java 工程)
• 表現：頻繁報警，JVM 內存異常增長，大量對象堆積
• 監控圖表：

根因定位

1. 堆棧分析發現大量 CancelTask

jstack -l 顯示大量名為 MySQL Statement cancellation timer 的線程，對應 com.mysql.jdbc.CancelTask 對象大量堆積。

2. 源碼追溯：定時器機制缺陷

iBATIS 預設查詢超時 3 秒 (defaultStatementTimeout=3000)。JDBC 為每條 SQL 創建一個 CancelTask 並提交到全局 Timer 任務隊列：

• 超時時，CancelTask.run() 僅修改 Statement 狀態標記為「取消」
• 真正移除任務需等待下一次調度執行
• 高併發大數據查詢下，任務產生速度遠超清理速度，導致 CancelTask 對象在隊列中無限積壓

3. 驅動版本差異對比

壓測驗證

環境配置

• 兩台分發器：151 (5.1.34 驅動) vs 152 (5.0.7 驅動)
• 同樣硬體：2 核 8G，Resin4，JVM 1G 堆，512M 新生代
• 模擬：5180 條隊列數據，每 150ms 分頁加載 200 條，16 線程並發

測試結果

15 分鐘後：

• 152 (5.0.7)：CPU 飆升、堆內存持續增長、出現 Full GC
• 151 (5.1.34)：穩定正常

32 分鐘後：

• 152：頻繁 Full GC，線程數遠超 151

堆內存對象統計：

• 152 大量 CancelTask、PreparedStatement、byte[] (600M+)
• 151 前 47 名無 CancelTask，byte[] 僅數十 MB

解決方案與經驗教訓

1. 立即升級驅動：將 mysql-connector-java 升級至 5.1.34 或更高版本。
2. 持續跟蹤依賴動態：重要存儲介質驅動 (MySQL、MongoDB、Redis 等) 必須建立升級機制，首次發現問題時往往已有新版修復。
3. 歷史教訓回顧：2013 年 MongoDB PHP Driver 1.2.x 導致連接池洩漏，升級 1.3.2 即解決 —— 同類模式重複發生。

RCA 總結

類型：維護問題 (依賴版本滯後)

關鍵詞：Java, JDBC, MySQL驅動, 頻繁大數據查詢, mysql-5.1.34, mysql-5.0.7

核心結論：頻繁的大數據查詢場景下，mysql-5.1.34 驅動的性能處理遠優於 mysql-5.0.7 驅動。一定要及時升級驅動！