Python 網頁爬蟲入門：從頁面「扒取」到結構化數據

「扒頁面」本質是發送 HTTP 請求獲取 HTML，再解析提取目標信息。Python 生態提供了最成熟的工具鏈。

核心工具鏈

最小可行性爬蟲示例

import requests
from bs4 import BeautifulSoup

url = 'https://example.com/articles'
headers = {'User-Agent': 'Mozilla/5.0 (compatible; MyBot/1.0)'}
resp = requests.get(url, headers=headers, timeout=10)
resp.raise_for_status()

soup = BeautifulSoup(resp.text, 'lxml')
for item in soup.select('.article-list .item'):
    title = item.select_one('h3 a').get_text(strip=True)
    link = item.select_one('h3 a')['href']
    print(f'{title} -> {link}')

進階建議

• 遵守 `robots.txt`，設置合理延時（`time.sleep(random.uniform(1,3))`）。
• 使用 `Session` 保持 Cookie，模擬登錄狀態。
• 數據存儲：CSV/JSON 適合小數據，MySQL/PostgreSQL 適合結構化查詢，MongoDB 適合非結構化。
• 部署：定時任務用 `cron` + `systemd`，大規模用 Scrapy + Scrapyd + Scrapy-Redis。

參考教程：Python 爬蟲實戰詳解