MySQL 大數據量導入最佳實踐：mysqldump 直連、phpMyAdmin 限制突破與參數調優

MySQL 大數據量導入最佳實踐：mysqldump 直連、phpMyAdmin 限制突破與參數調優

導入 100MB+ SQL 文件是常見運維場景。本文對比命令行直連、phpMyAdmin 兩大路徑，提供參數調優、分卷導入、並行導入等實戰方案，解決超時、內存溢出、編碼亂碼等痛點。

一、 黃金法則：命令行直連

# 全庫導入
mysql -uroot -p db_name < dump.sql

# 指定庫導入（mysqldump 導出格式）
mysql -uroot -p db_name < db_name.sql

# 單表導入
mysql -uroot -p db_name < table_name.sql

實測：121MB、1萬+ 行數據，Linux 命令行 **秒級完成**。優勢：無中間層、流式處理、內存常駐低、支援斷點續傳（配合 pv 監控進度）。

二、 phpMyAdmin 導入限制突破

1. 核心限制參數

2. 修改 php.ini 生效

; 找到並修改
post_max_size = 1024M
upload_max_filesize = 1024M
memory_limit = 512M
max_execution_time = 0
max_input_time = 0

; 重載 PHP-FPM / Apache
systemctl reload php-fpm
# 或
systemctl reload httpd

3. phpMyAdmin 專屬配置

; config.inc.php
$cfg['UploadDir'] = '/var/lib/phpmyadmin/upload';  # 預上傳目錄
$cfg['SaveDir'] = '/var/lib/phpmyadmin/save';
$cfg['ExecTimeLimit'] = 0;  # 覆蓋 max_execution_time
$cfg['MemoryLimit'] = '512M';

大文件建議：SCP 上傳至 UploadDir，phpMyAdmin 下拉選擇導入，避免瀏覽器上傳超時。

三、 進階導入優化參數

1. 客戶端參數

mysql --max_allowed_packet=1G --net_buffer_length=1M -uroot -p db_name < huge.sql

2. 服務端參數（臨時調大，導入後恢復）

SET GLOBAL max_allowed_packet = 1073741824;  -- 1G
SET GLOBAL net_buffer_length = 1048576;      -- 1M
SET GLOBAL innodb_buffer_pool_size = 4G;     -- 視內存調大
SET GLOBAL innodb_log_file_size = 1G;        -- 需重啟生效
SET GLOBAL innodb_flush_log_at_trx_commit = 2;  -- 導入期犧牲持久性換速度
SET GLOBAL sync_binlog = 0;                  -- 關閉 binlog 同步

3. 禁用檢查加速

SET GLOBAL unique_checks = 0;
SET GLOBAL foreign_key_checks = 0;
SET GLOBAL autocommit = 0;
-- 導入完成後
SET GLOBAL unique_checks = 1;
SET GLOBAL foreign_key_checks = 1;
SET GLOBAL autocommit = 1;

四、 超大文件分卷並行導入

1. 分卷工具

# 按行分卷（每 10 萬行）
split -l 100000 huge.sql part_
# 或按大小
split -b 100M huge.sql part_

# 並行導入（4 線程）
ls part_* | xargs -n1 -P4 -I{} sh -c 'mysql -uroot -p db_name < {}'

2. 邏輯備份並行導出（源頭優化）

# mydumper 並行導出
mydumper -u root -p -d db_name -t 8 -o /backup/export
# myloader 並行導入
myloader -u root -p -d db_name -t 8 -i /backup/export

五、 編碼亂碼終極解決

# 1. 導出時指定字符集
mysqldump --default-character-set=utf8mb4 -uroot -p db_name > dump.sql

# 2. 導入時指定字符集
mysql --default-character-set=utf8mb4 -uroot -p db_name < dump.sql

# 3. 文件編碼驗證
file dump.sql
# 輸出: UTF-8 Unicode text

六、 方案選型決策表

七、 總結

大數據導入核心原則：**命令行優於圖形界面、流式優於全載入、並行優於串行、參數調優優於默認值**。建立標準化導入 SOP：參數調優 → 校驗編碼 → 試導入(小樣本) → 正式導入 → 驗證行數/檢查約束 → 恢復參數，將風險控制在可接受範圍內。