Nutch 爬蟲數據量遠低於預期：反爬蟲機制導致請求被封禁

現象

Nutch 1.9 爬取阿里巴巴，topN=500000、depth=10，實際僅獲取 6 萬頁面。

根本原因

大型電商網站部署嚴格**反爬蟲系統**：

• IP 訪問頻率限制（單 IP 每秒請求數）。
• User-Agent 特徵識別（Nutch 默認 UA 明顯）。
• Cookie/Session 追蹤，無登錄態視為爬蟲。
• JavaScript 渲染頁面，Nutch 默認不執行 JS。
• 驗證碼、滑塊驗證攔截。

解決策略

1. 分布式代理池

# nutch-site.xml

  http.proxy.host
  proxy1.example.com


  http.proxy.port
  3128

# 輪換多個代理 IP，配合插件實現自動切換

2. 模擬真實瀏覽器

• 設置常見 UA：http.agent.name=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
• 啟用 Cookie 管理：http.client.cookie.policy=rfc2965
• 集成 Selenium/Playwright 執行 JS 渲染（需 Nutch 2.x + Selenium 協議）。

3. 降低抓取頻率

# nutch-default.xml

  fetcher.delay
  5.0  # 每請求間隔 5 秒


  fetcher.threads.per.queue
  1  # 單線程佇列

4. 遵守 robots.txt

確認 http.robot.policy=strict，避免觸發封禁陷阱。

現實建議

對於有強反爬的站點，純 Nutch 難以大規模獲取。建議：

1. 申請官方 API / 數據開放平台。
2. 使用專業爬蟲雲服務（如 Scrapy Cloud、Bright Data）。
3. 合法合規前提下，針對性開發無頭瀏覽器集群。