MySQL 千萬級去重實戰：MIN(id) 分組 + 新表導入，十分鐘搞定五百萬重複數據

場景

表 data_content_152 500 萬行，實際唯一身份證號（SFZHM）僅 180 萬，需高效去重。

三步走策略

步驟 1：提取每組最小 ID

CREATE TABLE tmp3 AS
SELECT MIN(id) AS col1 FROM data_content_152 GROUP BY SFZHM;

利用主鍵 id 自增特性，MIN(id) 代表最早插入的記錄。

步驟 2：建立目標表

CREATE TABLE `res` (
  `id` INT(11),
  `sfz` CHAR(20)
) ENGINE=MyISAM;

步驟 3：關聯導入去重數據

INSERT INTO res (sfz)
SELECT d.sfzhm FROM data_content_152 d
JOIN tmp3 t ON d.id = t.col1;

效能關鍵點

• GROUP BY SFZHM 走索引（需建立 SFZHM 索引）
• MIN(id) 聚合函數無需回表
• 中間表 tmp3 僅 180 萬行，JOIN 極快
• MyISAM 目標表無事務開銷，批量插入更快

替代方案對比

線上無鎖去重進階

若不可停寫，可用 pt-archiver 或 gh-ost 線上遷移，或利用 INSERT IGNORE INTO new_table SELECT ... FROM old_table 配合唯一索引逐批遷移。

1. 上一篇文章： MySQL 內核級二分查找實現詳解：PAGE_CUR_G/GE/L/LE 四種搜尋模式與邊界處理
2. 下一篇文章： MySQL 無 GROUP BY 直接用 HAVING 陷阱：GROUP BY NULL 等價 LIMIT 1 導致 MIN/MAX 取全局值

MySQL 資料庫相關知識

MySQL 入門系列：結果集資料計算與特殊資料編碼技巧

6.8 進階主題概覽 本節涵蓋四項不適合歸入前序漸進式開發的

MySQL 線上修改表結構（Online DDL）避坑指南：從鎖表風險到 pt-osc 實戰

在生產環境對大表執行 DDL（如加欄位、加索引、修改型別）是

MySQL 驅動 CRM 客戶資源管理系統：架構設計與工具選型指南

為什麼選 MySQL 做 CRM？ 成本優勢：零授權費，降

MySQL COUNT(DISTINCT) 優化：偽鬆散索引掃描技巧

問題場景 單表 10GB+，統計 UV 查詢： SELECT