Python 爬蟲實戰：圖書館借閱記錄抓取與 MongoDB 存儲

專案背景與需求

本專案旨在從校圖書館系統（https://211.81.31.34/uhtbin/cgisirsi/...）抓取全校學生的借閱歷史記錄，包含書名、作者、借閱日期、歸還日期、索書號等欄位，並存入 MongoDB 資料庫。

開發環境

• Python 2.7.11
• MongoDB 3.2.1
• PyCharm 5.0.4
• MongoDB Management Studio 1.9.3
• 瀏覽器開發者工具（用於分析網頁結構）

核心模組實作

1. 登入模組：處理動態表單 Action

登入頁面的 <form> 的 action 屬性包含隨機字串，每次刷新都會變化。解決方案：使用 BeautifulSoup 即時解析獲取最新的 action URL。

url = "https://211.81.31.34/uhtbin/cgisirsi/x/0/0/57/49?user_id=LIBSCI_ENGI&password=LIBSC"
res = urllib2.urlopen(url).read()
soup = BeautifulSoup(res, "html.parser")
login_url = "https://211.81.31.34" + soup.findAll("form")[1]['action'].encode("utf8")

隨後使用 urllib/urllib2 模擬 POST 請求完成登入。

2. HTML 解析與資料提取

目標資料位於 <tbody id="tblSuspensions"> 內的 <tr> 列中。遍歷子節點，過濾 Tag 類型，提取各欄位：

for i, k in enumerate(BeautifulSoup(detail, "html.parser").find(id='tblSuspensions').children):
    if isinstance(k, element.Tag):
        bookhtml.append(k)

for i in bookhtml:
    name = i.find(class_="accountstyle").getText()
    author = i.find(class_="accountstyle author", align="left").getText()
    Date_Charged = i.find(class_="accountstyle due_date", align="center").getText()
    Date_Returned = i.find(class_="accountstyle due_date", align="left").getText()
    bookid = i.find(class_="accountstyle author", align="center").getText()
    bookinfo.append([name.strip(), author.strip(), Date_Charged.strip(), Date_Returned.strip(), bookid.strip()])

3. MongoDB 連線與存儲

import pymongo
conn = pymongo.MongoClient("mongodb://root:root@localhost:27017")
db = conn.book
collection = db.book

user = {
    "_id": xuehao_ben,
    "Bookname": name.strip(),
    "Author": author.strip(),
    "Rent_Day": Date_Charged.strip(),
    "Return_Day": Date_Returned.strip()
}
collection.insert(user)

4. 批量抓取全校學生資料

利用學號規律（四位數字）窮舉遍歷，配合 try-except 處理超時與無借閱記錄異常，並加入 Socket 逾時重試機制。

遇到的問題與總結

• 頻繁出現連線逾時 (10060)，疑似伺服器限制。
• MongoDB 文件欄位順序不一致，屬於無結構特性，查詢時需指定欄位。
• 建議後續可引入 requests、Scrapy 框架並使用連線池優化效能。