
設為首頁	加入收藏

您现在的位置：程式碼之家 >> 編程語言 > >> 網頁程式設計 >> PHP 程式設計 >> PHP 相關知識

PHP 采集器開發心得：從遠端抓取到入庫的完整流程與避坑指南

編輯：PHP 相關知識

采集核心流程

獲取遠端源碼：file_get_contents()、cURL、fopen()
解析提取：正則 preg_match_all()、DOMDocument+XPath、QueryList 庫
去重/清洗/入庫：資料庫唯一鍵、內容過濾、圖片本地化

基礎代碼骨架

<?php
function fetch($url) {
    $ctx = stream_context_create(['http' => ['timeout' => 15, 'user_agent' => 'Mozilla/5.0']]);
    return @file_get_contents($url, false, $ctx);
}

function extract($html, $pattern) {
    preg_match_all($pattern, $html, $matches);
    return $matches[1] ?? [];
}

// 列表頁采集
$listHtml = fetch('https://example.com/list.html');
$detailUrls = extract($listHtml, '/href="([^"]+\.html)"/');

// 詳情頁采集
foreach ($detailUrls as $url) {
    $detailHtml = fetch($url);
    $title = extract($detailHtml, '/(.*?)<\/h1>/')[0] ?? '';
    $content = extract($detailHtml, '/(.*?)<\/div>/s')[0] ?? '';
    
    // 入庫（PDO 預處理）
    $stmt = $pdo->prepare('INSERT INTO articles (title, content, source_url) VALUES (?, ?, ?)');
    $stmt->execute([$title, $content, $url]);
    
    sleep(1); // 禮貌延遲
}
?>

圖片/檔案本地化下載

function downloadAsset($url, $saveDir) {
    if (empty($url)) return false;
    $ext = strtolower(pathinfo(parse_url($url, PHP_URL_PATH), PATHINFO_EXTENSION));
    if (!in_array($ext, ['jpg','jpeg','png','gif','webp','swf','mp4'])) return false;

    $filename = md5($url) . '.' . $ext;
    $path = $saveDir . '/' . $filename;

    if (file_exists($path)) return $filename; // 已下載

    $data = @file_get_contents($url);
    if ($data === false) return false;

    file_put_contents($path, $data);
    return $filename;
}

實戰避坑指南（血淚經驗）

坑點	現象	解決方案
防盜鏈	圖片/頁面返回 403	設定 Referer 標頭、使用代理 IP、或放棄該站
編碼不一致	中文亂碼	`mb_detect_encoding()` + `iconv()` 統一轉 UTF-8
動態渲染	內容在 JS 中、AJAX 載入	分析 API 介面、或用 Headless Chrome (Puppeteer/PHP-WebDriver)
頻率限制/IP 封禁	連續請求失敗	代理池輪換、隨機延遲、模擬真實瀏覽器指紋
頁面結構變更	正則失效	改用 DOM+XPath、加入選擇器健壯性檢查、監控告警
重複采集	資料庫主鍵衝突	URL 去重表、內容指紋 (simhash)、`INSERT IGNORE`/`ON DUPLICATE KEY UPDATE`
超時/網路抖動	腳本中斷	重試機制 (指數退避)、隊列化 (Redis/RabbitMQ) + Worker
大量資料記憶體溢出	PHP Fatal Error	生成器 `yield`、分批處理、`unset()` 釋放大變數