PHP + MySQL 實現大數據量隨機重排：避開 ORDER BY RAND() 性能陷阱

背景：為什麼不能直接用 ORDER BY RAND()？

MySQL 的 ORDER BY RAND() 會生成臨時表、為每行賦值隨機數、再排序，時間複雜度 O(N log N)。當表超過 1 萬行，查詢時間呈指數級增長，極易導致 CPU 飆升、連接堵塞。本文提供一套「分批讀取 + PHP 打亂 + 批量寫入」的工程化方案，適用於百萬級數據的隨機重排/匿名化/測試數據生成場景。

核心思路：分而治之 + 內存打亂

1. 分批讀取：每次 LIMIT offset, size 讀取固定塊（如 1000 條），避免全表掃描。
2. PHP 端 Fisher-Yates 洗牌：在內存中對批次數據隨機打亂，O(N) 複雜度。
3. 批量寫入新表：使用 INSERT ... VALUES (...), (...), ... 多行語法或事務批量提交。
4. 標記已處理：源表增加 is_processed 字段，支持斷點續傳。
5. 頁面自動跳轉/CLI 循環：處理完一批自動觸發下一批，直到完成。

完整實現代碼（Web 版，支持斷點續傳）

<?php
// config.php
define('DB_HOST', 'localhost');
define('DB_USER', 'root');
define('DB_PASS', 'password');
define('DB_NAME', 'test_db');
define('BATCH_SIZE', 1000);      // 每批讀取條數
define('TOTAL_RECORDS', 85000);  // 總記錄數（可用 COUNT(*) 動態獲取）

// rand_reorder.php
require 'config.php';
$mysqli = new mysqli(DB_HOST, DB_USER, DB_PASS, DB_NAME);
if ($mysqli->connect_errno) die('DB連接失敗: ' . $mysqli->connect_error);

$page = isset($_GET['page']) ? max(1, intval($_GET['page'])) : 1;
$offset = ($page - 1) * BATCH_SIZE;

if ($offset >= TOTAL_RECORDS) {
    echo "✅ 所有數據處理完成！
";
    echo '重新開始';
    exit;
}

// 1. 讀取未處理數據
$sql = "SELECT id, content, type_id FROM source_table WHERE is_processed = 0 ORDER BY id LIMIT ?, ?";
$stmt = $mysqli->prepare($sql);
$stmt->bind_param('ii', $offset, BATCH_SIZE);
$stmt->execute();
$result = $stmt->get_result();
$rows = $result->fetch_all(MYSQLI_ASSOC);
$stmt->close();

if (empty($rows)) {
    echo "⚠️ 無更多數據，可能已處理完畢。
";
    exit;
}

// 2. Fisher-Yates 洗牌算法（原地打亂）
$count = count($rows);
for ($i = $count - 1; $i > 0; $i--) {
    $j = mt_rand(0, $i);
    [$rows[$i], $rows[$j]] = [$rows[$j], $rows[$i]];
}

// 3. 批量插入目標表
$insertSql = "INSERT INTO target_table (id, content, type_id, is_processed) VALUES ";
$values = [];
$types = '';
$params = [];
foreach ($rows as $row) {
    $values[] = '(?, ?, ?, 1)';
    $types .= 'isi';
    $params[] = $row['id'];
    $params[] = $row['content'];
    $params[] = $row['type_id'];
}
$insertSql .= implode(', ', $values);
$stmt = $mysqli->prepare($insertSql);
$stmt->bind_param($types, ...$params);
$stmt->execute();
$stmt->close();

// 4. 更新源表標記（可選：若只讀不改源表則跳過）
$ids = array_column($rows, 'id');
$placeholders = implode(',', array_fill(0, count($ids), '?'));
$updateSql = "UPDATE source_table SET is_processed = 1 WHERE id IN ($placeholders)";
$stmt = $mysqli->prepare($updateSql);
$types = str_repeat('i', count($ids));
$stmt->bind_param($types, ...$ids);
$stmt->execute();
$stmt->close();

// 5. 自動跳轉下一批
$nextPage = $page + 1;
$processed = $page * BATCH_SIZE;
echo "✅ 第 $page 批處理完成（已處理 ~$processed 條）
";
echo '';
?>

關鍵優化點解析

替代方案：純 SQL 高效隨機抽樣（不需重排全表）

若僅需「隨機抽取 N 條」而非重排全表，推薦以下兩種方案：

方案 A：主鍵區間隨機 + LIMIT（適用於連續/近似連續 ID）

-- 1. 獲取最大 ID
SELECT MAX(id) INTO @max_id FROM source_table;
-- 2. 生成隨機起始點
SET @start = FLOOR(RAND() * (@max_id - 1000));
-- 3. 向後取 N 條（需配合 WHERE id >= @start ORDER BY id LIMIT N）
SELECT * FROM source_table WHERE id >= @start ORDER BY id LIMIT 1000;

方案 B：PHP 生成隨機 ID 列表 + IN 查詢（適用於稀疏 ID）

<?php
$total = $mysqli->query("SELECT COUNT(*) FROM source_table")->fetch_row()[0];
$ids = [];
while (count($ids) < 5) {
    $id = mt_rand(1, $total);
    if (!in_array($id, $ids)) $ids[] = $id;
}
$placeholders = implode(',', array_fill(0, 5, '?'));
$stmt = $mysqli->prepare("SELECT * FROM source_table WHERE id IN ($placeholders)");
$stmt->bind_param(str_repeat('i', 5), ...$ids);
$stmt->execute();
?>

性能對比參考（10 萬行測試）

總結

• 禁用 ORDER BY RAND() 於大表任何場景。
• 全表隨機重排：採用「分批讀取 + 內存洗牌 + 批量寫入」，可控、可恢復、線性擴展。
• 隨機抽樣：優先「主鍵區間法」，次選「PHP 生成 ID + IN 查詢」。
• 生產環境務必使用 CLI + 事務 + 多進程 版本，避免 Web 超時與併發問題。