您现在的位置：程式碼之家 >> 編程語言 > >> 網頁程式設計 >> PHP 程式設計 >> PHP 綜合知識

PHP cURL 多線程並發抓取：curl_multi 實現高效批量採集

編輯：PHP 綜合知識

為什麼需要 curl_multi

PHP 單線程模型導致串行抓取效率極低：100 個 URL × 200ms = 20 秒。curl_multi 利用非阻塞 I/O 多路複用，在單進程內實現「並發」網絡請求，同樣 100 個 URL 可在 ~200ms 內完成（受限於帶寬與目標服務器）。

兩種核心模式對比

模式	特點	適用場景
直接寫文件 `CURLOPT_FILE`	內存佔用極低，流式寫入磁盤無法獲取 HTTP 狀態碼、響應頭難以做錯誤重試、內容預處理	超大文件下載、日誌歸檔、不需解析內容
內存緩衝 `CURLOPT_RETURNTRANSFER`	可獲取完整響應（體、頭、狀態碼）支援後續解析、篩選、重試佔用內存 = 所有響應體大小之和	API 聚合、頁面解析、數據清洗、中等體積文件

完整代碼實現

模式一：直接寫入文件（低內存）

<?php
$urls = [
    'https://www.sina.com.cn/',
    'https://www.sohu.com/',
    'https://www.163.com/'
];
$saveTo = '/tmp/fetch_results.txt';

$fp = fopen($saveTo, 'a');
$mh = curl_multi_init();

foreach ($urls as $i => $url) {
    $conn[$i] = curl_init($url);
    curl_setopt_array($conn[$i], [
        CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; PHP Bot)',
        CURLOPT_HEADER => 0,
        CURLOPT_CONNECTTIMEOUT => 10,
        CURLOPT_TIMEOUT => 30,
        CURLOPT_FILE => $fp,           // 直接寫入文件句柄
        CURLOPT_FOLLOWLOCATION => true,
    ]);
    curl_multi_add_handle($mh, $conn[$i]);
}

// 事件循環
$active = null;
do {
    $mrc = curl_multi_exec($mh, $active);
} while ($mrc === CURLM_CALL_MULTI_PERFORM);

while ($active && $mrc === CURLM_OK) {
    if (curl_multi_select($mh, 0.5) !== -1) {
        do {
            $mrc = curl_multi_exec($mh, $active);
        } while ($mrc === CURLM_CALL_MULTI_PERFORM);
    }
}

// 清理
foreach ($urls as $i => $url) {
    curl_multi_remove_handle($mh, $conn[$i]);
    curl_close($conn[$i]);
}
curl_multi_close($mh);
fclose($fp);
?>

模式二：內存緩衝（可解析、可重試）

<?php
$urls = [ /* ... */ ];
$mh = curl_multi_init();
$connections = [];

foreach ($urls as $i => $url) {
    $conn = curl_init($url);
    curl_setopt_array($conn, [
        CURLOPT_USERAGENT => 'Mozilla/5.0',
        CURLOPT_HEADER => 0,
        CURLOPT_CONNECTTIMEOUT => 10,
        CURLOPT_TIMEOUT => 30,
        CURLOPT_RETURNTRANSFER => true,  // 關鍵：返回字符串而非輸出
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_SSL_VERIFYPEER => false, // 僅測試環境
    ]);
    curl_multi_add_handle($mh, $conn);
    $connections[$i] = $conn;
}

// 執行循環（同上）
$active = null;
do { $mrc = curl_multi_exec($mh, $active); }
while ($mrc === CURLM_CALL_MULTI_PERFORM);
while ($active && $mrc === CURLM_OK) {
    if (curl_multi_select($mh, 0.5) !== -1) {
        do { $mrc = curl_multi_exec($mh, $active); }
        while ($mrc === CURLM_CALL_MULTI_PERFORM);
    }
}

// 獲取結果並處理
$results = [];
foreach ($connections as $i => $conn) {
    $content = curl_multi_getcontent($conn);
    $info = curl_getinfo($conn);
    
    if ($info['http_code'] === 200) {
        $results[$urls[$i]] = $content;
        // 可在此解析、入庫、寫文件
    } else {
        error_log("URL {$urls[$i]} 失敗: HTTP {$info['http_code']}");
    }
    
    curl_multi_remove_handle($mh, $conn);
    curl_close($conn);
}
curl_multi_close($mh);

// 後續處理 $results...
?>

生產級增強建議

1. 並發數控制（防止過載目標站/耗盡本地端口）

const MAX_CONCURRENT = 20;
$queue = new SplQueue($urls);
$running = [];

while ($queue->count() || $running) {
    // 啟動新連接直到達到上限
    while ($queue->count() && count($running) < MAX_CONCURRENT) {
        $url = $queue->dequeue();
        $conn = curl_init($url);
        // ... 設置選項 ...
        curl_multi_add_handle($mh, $conn);
        $running[(int)$conn] = $url;
    }
    // 執行一次循環
    curl_multi_exec($mh, $active);
    // 檢查完成的連接
    while ($done = curl_multi_info_read($mh)) {
        $conn = $done['handle'];
        $url = $running[(int)$conn];
        // 處理結果...
        curl_multi_remove_handle($mh, $conn);
        curl_close($conn);
        unset($running[(int)$conn]);
    }
    // 短暫休眠讓出 CPU
    usleep(10000);
}

2. 錯誤重試機制

$maxRetries = 3;
$retryCount = [];

// 在結果處理邏輯中
if ($info['http_code'] >= 500 || $info['http_code'] === 0) {
    if (($retryCount[$url] ?? 0) < $maxRetries) {
        $retryCount[$url]++;
        $queue->enqueue($url);  // 重新加入隊列
        continue;
    }
}

3. 異步非阻塞 + 回調模式（PHP 8.1+ Fibers / ReactPHP / Amp）

現代項目建議使用 ReactPHP 或 Amp 等事件驅動框架，代碼更優雅：

// ReactPHP 示例
$client = new React\HttpClient\Browser($loop);
$promises = array_map(fn($url) => $client->get($url), $urls);
\React\Promise\all($promises)->then(function($responses) {
    foreach ($responses as $response) {
        // 處理 $response->getBody()
    }
});
$loop->run();