Java爬蟲判定：自動抓取+鏈接遞歸才是爬蟲，附圖片爬蟲關鍵點

定義判定

用戶從百度文庫抓數據寫入日志，**不算完整爬蟲**。

• 爬蟲核心特徵：自動發起請求 → 解析響應 → **提取鏈接** → 遞歸/隊列調度抓取新頁面 → 存儲。
• 用戶行為：單一頁面定向抓取 → 存日志，屬於網頁數據提取/采集腳本。

圖片爬蟲關鍵難點

1. 反爬機制：Referer檢查、User-Agent驗證、Cookie驗證、JS加密簽名、圖片防盜鏈。
2. 模擬瀏覽器指紋：

   RequestConfig config = RequestConfig.custom()
       .setUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
       .setHeader("Referer", "https://www.target.com/page.html")
       .setHeader("Accept", "image/webp,image/apng,image/*,*/*;q=0.8")
       .build();
   

3. 異步加載圖片：懶加載data-src、JS渲染、WebP格式 → 需Selenium/Playwright/Puppeteer無頭瀏覽器。
4. 存儲去重：URL哈希/感知哈希(pHash)去重。

可運行圖片爬蟲框架

// HttpClient + Jsoup 簡易版（靜態頁面）
public void crawlImages(String startUrl) {
    Queue queue = new LinkedList<>();
    Set visited = new HashSet<>();
    queue.add(startUrl);
    
    while (!queue.isEmpty()) {
        String url = queue.poll();
        if (visited.contains(url)) continue;
        visited.add(url);
        
        String html = HttpClientUtil.get(url); // 含Header模擬
        Document doc = Jsoup.parse(html);
        
        // 提取圖片
        doc.select("img").forEach(img -> {
            String src = img.attr("abs:src");
            downloadImage(src);
        });
        
        // 提取鏈接入隊
        doc.select("a[href]").forEach(a -> {
            String href = a.attr("abs:href");
            if (href.startsWith("https://target.com")) queue.add(href);
        });
    }
}

推薦成熟框架

• WebMagic：Java原生，注解配置，支持分布式（GitHub）。
• Crawler4j：輕量、多線程、易擴展。
• Selenium/Playwright：動態渲染頁面必備。