C# 2.0 打造高效能網路爬蟲：多線程、鍵樹去重與分散式擴展全解析

一、前言：為什麼需要網路爬蟲？

搜尋引擎的核心資料來源來自於網路爬蟲。早期 Yahoo 採人工分類，隨著網頁數量爆炸性增長，Google 以自動化爬蟲 + 智能演算法徹底改變遊戲規則。爬蟲的任務簡單而艱鉅：從種子網址出發，不斷下載、解析、提取新連結，構建龐大的網頁資料庫。本文將帶你用 C# 2.0 從零實作一個具備多線程下載、檔案級佇列持久化、鍵樹去重優化的網路爬蟲原型。

二、核心流程四步走

1. 初始化：將種子 URL 放入下載佇列（文字檔，每行一個 URL）。
2. 多線程下載：工作線程從佇列取出 URL，下載 HTML 並儲存至專屬目錄，同時記錄於目錄下的 index.txt。
3. 解析提取：掃描下載的 HTML，利用狀態機 + 正則表達式提取 <a href=...> 中的連結。
4. 去重入隊：新連結經鍵樹去重後寫回佇列，循環執行步驟 2-4，直到佇列為空且所有線程皆進入等待狀態。

三、關鍵元件深度剖析

1. 檔案級佇列：FileIO 類別

記憶體無法承載千萬級 URL，必須落地。FileIO 封裝 FileStream + StreamReader/Writer，關鍵在於 FileShare.ReadWrite 允許同時開啟讀寫流，實現「生產者-消費者」模式：

// 寫入追加
fsw = new FileStream(file, FileMode.Append, FileAccess.Write, FileShare.ReadWrite);
sw = new StreamWriter(fsw);
sw.WriteLine(url); sw.Flush();

// 讀取
fsr = new FileStream(file, FileMode.OpenOrCreate, FileAccess.Read, FileShare.ReadWrite);
sr = new StreamReader(fsr);
string line = sr.ReadLine();

2. 線程封裝：MyThread 基類

繼承 MyThread 即可自動擁有線程能力，覆寫 run() 撰寫業務邏輯，比直接操作 Thread 更具物件導向風格：

class MyThread {
    private Thread thread;
    public MyThread() { thread = new Thread(run); }
    public virtual void run() { }
    public void start() { thread.Start(); }
    public void sleep(int ms) { Thread.Sleep(ms); }
}
// 使用範例
class Downloader : MyThread {
    public override void run() { /* 下載邏輯 */ }
}

3. 下載工作線程：DownLoadThread

每線程對應一個資料目錄，檔案數達上限（如 5000）自動建立新目錄。核心迴圈：從佇列批次取出 20 條 URL → 下載解析 → 寫入 index.txt → 觸發 findUrl 事件將新連結送回佇列。若佇列空則呼叫 Common.threadWait 通知系統並休眠 5 秒。

4. HTML 解析與連結提取：狀態機 + 正則

採用 5 狀態有限狀態機（FSM）掃描字元流，精準識別 <a ...> 標籤，再以正則 href\s*=\s*('[^']*'|"[^"]*"|\S+) 擷取 href 值，最後處理相對/絕對路徑轉換與過濾規則（processPattern）。

5. 百萬級去重神器：鍵樹

將 URL 經 GetHashCode() 轉為 32 位整數，以十進位每一位為分支建立鍵樹。查找複雜度僅與數字位數有關（O(10)），與資料總量無關，極大降低記憶體佔用並提升速度。UrlFilter 進一步正規化 URL（去除預設埠號、統一路徑斜線）確保 https://a.com 與 https://a.com/ 視為同一鍵值。

四、介面監控與分散式展望

主視窗透過 Timer 每 2 秒讀取 Common 靜態類別的計數器，即時顯示已獲取 URL 數、已下載頁面數。文末指出單機極限，建議將鍵樹與佇列移至共享儲存或引入分散式協調服務（如 ZooKeeper），實現多機協同爬取，獲得質的速度飛躍。