MySQL 自動備份實戰：用 MD5 實現增量去重備份

MySQL 自動備份實戰：用 MD5 實現增量去重備份

資料庫備份是運維核心職責之一。單純定時備份會產生大量重複檔案，浪費儲存空間。本文介紹一套基於 Java 實作的 MySQL 自動備份方案，利用 MD5 雜湊比對實現「僅備份有變更的資料」，達到去重、節省空間的目的。

核心邏輯流程

1. 匯出暫存檔：執行 mysqldump 導出資料庫至 temp.sql
2. 計算 MD5：讀取檔案內容（排除含時間戳的最後一行），計算 MD5 值
3. 遍歷比對：掃描備份目錄下所有歷史檔案，計算各自 MD5 與暫存檔比對
4. 決策執行：
   • 若存在相同 MD5 → 刪除暫存檔，結束程式（無變更，無需備份）
   • 若全部不同 → 將暫存檔重命名為 weixin_yyyyMMddHHmmss.sql 正式保存

關鍵技術細節

1. 排除時間戳干擾

mysqldump 輸出檔案末尾會包含 -- Dump completed on 2014-10-26 20:03:21 這類時間戳，導致每次備份內容雖相同但 MD5 不同。解決：讀取檔案時跳過包含 Dump completed on 的行。

2. MD5 計算工具類

使用 Java MessageDigest 實作標準 MD5 演算法，輸出 32 位十六進位字串。

3. 檔案讀取優化

採用 BufferedReader 逐行讀取，配合 StringBuffer 拼接，避免大檔案記憶體溢位。

完整程式碼結構

backup/
├── Main.java          # 主程式：備份流程控制
├── FileString.java    # 檔案轉字串（過濾時間戳行）
└── MD5.java           # MD5 雜湊計算

部署建議

• 將編譯後的 JAR 包配合 Linux crontab 定時執行
• 備份目錄建議掛載獨立磁碟或網路存儲
• 定期驗證備份檔案可還原性（mysql -u root -p dbname < backup.sql）

擴展思路

• 加入壓縮（gzip）進一步節省空間
• 整合上傳至雲端儲存（S3、OSS、COS）
• 新增備份成功/失敗通知（郵件、Webhook、鉤子）
• 支援多資料庫並行備份配置

這套方案輕量、無依賴、邏輯清晰，適合中小型專案快速落地自動化去重備份。