網頁資料自動化擷取入門：從 HTTP 請求到爬蟲框架

需求分析

目標：自動登入 (帳號/密碼/驗證碼) → 點擊按鈕 → 擷取資料 → 儲存。已知：Tomcat 伺服器、會 VBScript/PHP、可操作目標機器。

技術路線選擇

方案一：Java HttpURLConnection / HttpClient (輕量、無瀏覽器)

• 手動模擬登入 POST 請求，處理 Cookie/Session (需管理 CookieManager)。
• 驗證碼需識別 (OCR 或打碼平台)，增加複雜度。
• 適合：靜態頁面、API 介面、無複雜 JS 渲染。

方案二：Selenium WebDriver (真實瀏覽器自動化)

• 支援 Chrome/Firefox/Headless 模式，完整執行 JS、處理驗證碼彈窗。
• Java/Python/C# 皆有綁定，語法直觀：
  driver.findElement(By.id("user")).sendKeys("admin");
• 適合：動態渲染、複雜交互、需繞過反爬蟲。

方案三：Python Scrapy / requests-html (高效爬蟲框架)

• Scrapy 非同步高效能，內建中介軟體處理 Cookie、重試、去重。
• 配合 Splash 或 Playwright 處理 JS 渲染。
• 適合：大規模、持續性資料收集。

快速起步建議 (Python + Selenium)

pip install selenium webdriver-manager
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
driver.get("https://target-site/login")
driver.find_element("name", "username").send_keys("user")
driver.find_element("name", "password").send_keys("pass")
# 驗證碼需人工或 OCR
driver.find_element("id", "submit").click()
# 等待資料載入
data = driver.find_element("id", "data-table").text
print(data)
driver.quit()

學習路徑

1. HTTP 協議基礎 (Request/Response、Cookie、Session)。
2. HTML/CSS 選擇器 (XPath, CSS Selector) 定位元素。
3. Selenium 基礎操作 (等待策略、視窗切換、截圖除錯)。
4. 進階：反爬蟲應對 (User-Agent 旋轉、IP 代理、驗證碼識別)。
5. 框架化：Scrapy/Playwright 專案結構、資料管道、部署排程。

參考：Web 前後台交互原理。