使用 Python 與 MongoDB 打造影片資料爬蟲實戰

專案背景與目標

面對龐大的影片資料量，傳統文字檔存儲已難以滿足需求。本專案展示如何利用 Python、BeautifulSoup 解析庫與 MongoDB 資料庫，從騰訊視頻等多個影片網站抓取數十萬筆記錄，並實現高效的資料存儲與管理。MongoDB 的部署門檻極低，安裝、下載、啟動全程不超過 5 分鐘，是快速原型開發的理想選擇。

核心技術棧

• Python 2.7：腳本開發語言
• BeautifulSoup 4：HTML 解析與資料提取
• pymongo：MongoDB 官方 Python 驅動
• urllib2：網路請求處理
• 正則表達式：輔助提取結構化資料

關鍵模組解析

1. 網頁獲取模組

def gethtml(url):
    req = urllib2.Request(url)
    response = urllib2.urlopen(req)
    return response.read()

封裝 HTTP 請求邏輯，支援自定義 Header 與錯誤重試機制（建議生產環境加入）。

2. 分類標籤提取

透過 CSS 選擇器定位 <ul class="clearfix _group" gname="mi_type"> 節點，結合正則表達式解析分類名稱與對應 URL，構建 {分類名: 分類URL} 字典。

3. 分頁邏輯處理

解析 <div class="mod_pagenav" id="pager"> 區塊，提取最後一頁頁碼，作為後續列表遍歷的邊界條件。

4. 影片列表與詳情解析

• 列表頁：定位 <ul class="mod_list_pic_130">，逐項提取標題、鏈接、類型、來源站點
• 詳情頁：解析 <div class="pack pack_album album_cover"> 獲取播放鏈接與描述資訊

5. MongoDB 資料持久化

conn = pymongo.Connection('localhost', 27017)
movie_db = conn.dianying
playlinks = movie_db.playlinks
values = dict(
    movie_title=movie[1],
    movie_url=movie[0],
    movie_site=m_site,
    movie_type=m_type
)
playlinks.insert(values)

採用無結構化文檔存儲，靈活適應不同來源站點的字段差異。

主流程控制

1. 請求首頁分類列表，獲取所有分類入口
2. 遍歷各分類，計算總頁數
3. 逐頁抓取列表頁 HTML，解析影片基本資訊入庫
4. （可選）進入詳情頁補全播放地址等豐富字段
5. 全局計數器 NUM 實時監控抓取進度

優化建議與避坑指南

• 反爬應對：加入隨機 User-Agent、請求間隔（time.sleep(0.1)）、IP 代理池
• 異常處理：網路超時、解析失敗、資料庫寫入異常需完善 try-catch 與重試邏輯
• 增量抓取：記錄最後抓取時間戳或 ID，避免重複抓取
• 並發提速：可引入 multiprocessing 或 gevent 實現協程並發
• 資料去重：MongoDB 建立唯一索引（如 movie_url）防止重複入庫

總結

本專案演示了從「零」開始構建一個可用的垂直領域爬蟲系統。MongoDB 的靈活 Schema 與 Python 豐富的生態系統，讓開發者能專注於業務邏輯而非基礎設施。實際部署時，建議補全日誌監控、斷點續傳、分佈式調度等工程化能力，將其演進為生產級資料採集平台。