Java 實戰：利用搜尋引擎自動化收集目標網址

為什麼需要程式化收集網址？

網路上充斥著各類網址資料庫銷售：軟體發布網址、郵箱地址、論壇鏈接、行業目錄等。這些數據量龐大，絕非人工收集所能完成，背後都是自動化程式利用搜尋引擎批量抓取的成果。本文將詳細講解如何用 Java 實現一個網址收集器，以 Google 和百度為目標搜尋引擎。

核心技術：關鍵字與 inurl 搜尋語法

搜尋引擎提供的 inurl: 指令是關鍵。它能針對 URL 中包含的特定字串進行篩選。例如許多軟體發布頁面的 URL 含有 publish、submit、tuijian 等關鍵字，結合業務關鍵字即可精準定位目標頁面。程式流程分為三步：

1. 模擬請求獲取 HTML：構造搜尋 URL，處理編碼與分頁參數（如百度的 pn、Google 的 start）。
2. 解析 HTML 提取鏈接：使用正則表達式與字串分割過濾無效鏈接（如快照頁、相似頁、搜尋引擎自身域名）。
3. 存儲與去重：將有效 URL 寫入檔案或資料庫供後續使用。

關鍵實現細節與代碼要點

1. 模擬瀏覽器請求

百度接受預設 User-Agent，Google 則會檢測並拒絕非瀏覽器請求，必須設置 http.setRequestProperty("User-Agent", "Mozilla/4.0")。編碼方面，百度常用 GB2312，Google 則為 UTF-8。

2. 多線程與分頁循環

程式需循環翻頁（每頁 20 條），注意 Google 限制最多 1000 條結果，百度約 760 條，需通過增加關鍵字縮小範圍繞過限制。

3. HTML 解析與去噪

// 核心過濾邏輯：排除含 google.com、cache、baidu 等關鍵字的無效鏈接
StringTokenizer token = new StringTokenizer(html, " <>\"");
while (token.hasMoreTokens()) {
    String word = token.nextToken();
    if (!word.contains("google.com") && !word.contains("cache") && word.length() > 7) {
        String url = word.substring(6, word.length() - 1);
        saveUrl(url);
    }
}

法律與道德邊界提醒

雖然技術實現簡單，但大規模抓取可能違反搜尋引擎服務條款（ToS）與 robots.txt 協議。生產環境建議：

• 遵守 robots.txt 爬蟲規則
• 控制請求頻率，避免 IP 被封禁
• 考慮使用官方 API（如 Google Custom Search API）替代直接抓取
• 尊重網站版權與數據所有權

總結

本文展示了基於 HttpURLConnection 的輕量級網址收集器實現。雖然核心邏輯簡單，但編碼處理、反爬蟲應對、數據清洗等工程細節決定了系統的可用性。現代開發中，更推薦使用 HttpClient、Jsoup、Selenium 等成熟框架提升開發效率與穩定性。