PHP 爬取網頁所有連結：fopen + 正則解析 href 實作

實作原理

1. fopen() 開啟遠端 URL 串流（需 allow_url_fopen=On）
2. fread() 循環讀取全部 HTML 內容
3. 正則表達式匹配所有 href 屬性值
4. 判斷相對/絕對路徑，補全為完整 URL

核心代碼

<?php
$url = isset($_GET['url']) ? $_GET['url'] : "https://www.csdn.net/expert/";

// 解析基礎 URL
$site = substr($url, 0, strpos($url, "/", 8));           // https://domain.com
$base = substr($url, 0, strrpos($url, "/") + 1);         // https://domain.com/path/

// 讀取遠端內容
$fp = fopen($url, "r");
$contents = '';
while (!feof($fp)) {
    $contents .= fread($fp, 1024);
}
fclose($fp);

// 正則匹配所有 href
$pattern = '|href=["\']?([^"\'>\s]+)["\']?|U';
preg_match_all($pattern, $contents, $matches, PREG_SET_ORDER);

// 處理並輸出
foreach ($matches as $i => $m) {
    $link = $m[1];
    if (!preg_match('|://|', $link)) {          // 相對路徑
        if (substr($link, 0, 1) === '/') {      // 站內絕對路徑 /path
            $link = $site . $link;
        } else {                                // 相對路徑 path/file
            $link = $base . $link;
        }
    }
    echo "Link " . ($i+1) . ": $link<br>";
}
?>

正則表達式解析

|href=["\']?([^"\'>\s]+)["\']?|U
|            定界符
 href=       字面匹配
 ["\']?      可選單雙引號
 (           捕獲組開始
   [^"\'>\s]+  非引號、非>、非空白字元（連結內容）
 )           捕獲組結束
 ["\']?      可選結尾引號
 |U          非貪婪模式

功能擴充建議

現代化重寫：Guzzle + Symfony DomCrawler

<?php
require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

$client = new Client(['timeout' => 10, 'headers' => ['User-Agent' => 'Mozilla/5.0']]);
$url = 'https://example.com';

try {
    $response = $client->get($url);
    $html = $response->getBody()->getContents();
    
    $crawler = new Crawler($html);
    $links = $crawler->filter('a[href]')->each(function (Crawler $node) use ($url) {
        $href = $node->attr('href');
        // 解析相對路徑
        $absolute = (parse_url($href, PHP_URL_SCHEME)) ? $href : rtrim($url, '/') . '/' . ltrim($href, '/');
        return ['text' => trim($node->text()), 'url' => $absolute];
    });
    
    print_r($links);
} catch (Exception $e) {
    echo "Error: " . $e->getMessage();
}
?>

法律與道德提醒

• 遵守目標網站 robots.txt 與服務條款
• 控制抓取頻率（建議 > 1 秒/請求），避免造成服務負擔
• 僅抓取公開資料，勿繞過登入/驗證機制
• 尊重著作權，抓取資料僅供個人研究/分析，不可商業轉售

總結

基於 fopen + 正則的連結提取器構思簡單、零依賴，適合學習 HTTP、正則、URL 解析基礎。生產級爬蟲請採用 Guzzle + DomCrawler 或 Scrapy (Python) 等成熟框架，具備併發、重試、中介軟體、選擇器、管道等企業級能力。

1. 上一篇文章： PHP 透過 COM 元件呼叫 ADO 操作 Access 資料庫與 Word 自動化
2. 下一篇文章： PHP4 Session O_RDWR 錯誤解決：session.save_path 配置與目錄權限

PHP 相關知識

PHP 設計模式精解：命令模式完整實作與應用場景

PHP 設計模式精解：命令模式完整實作與應用場景 命令模式將

Laravel 5.2 多用戶認證 (Multi-Auth) 完整實戰：前台用戶 + 後台管理員獨立登錄體系

Laravel 5.2 原生 Multi-Guard 實現前

PHP 計算文件 MD5 並驗證完整性：md5_file 實戰與防篡改方案

文件完整性校驗：md5_file 核心用法與安全實踐 md5

XAMPP 搭建本地伺服器與 iOS 客戶端資料上傳實作（PHP 篇）

環境準備 安裝 XAMPP（含 Apache、MySQL、