知乎爬蟲系列（二）：爬蟲流程設計與去重策略

知乎爬蟲系列（二）：爬蟲流程設計與去重策略

本文為知乎爬蟲系列第二篇，重點探討爬蟲整體流程設計、資料去重策略以及人物關係圖譜的構建思路。專案開源於 GitHub：ZhihuSpider，並附贈已爬取的 MySQL 資料庫樣本。

核心目標

• 獲取知乎用戶個人資料（基本信息、關注列表、被關注列表）
• 解決登錄驗證、反爬蟲機制
• 構建用戶關係圖譜（Follower / Followee）
• 高效去重，避免重複抓取

去重策略對比

採用方案： 主鍵約束 + 記憶體 LRU 緩存 + 緩存未命中時回查資料庫。後期將自行實現 LRU 緩存，提升命中率。

人物關係構建思路

採用「攜帶上級信息」的尾遞歸思想：每個用戶節點攜帶其來源用戶 ID，解析時即可建立邊關係，無需額外關聯表。

整體流程圖

獲取 URL → 解析頁面 → 判斷是否存在
                    ↓ 是          ↓ 否
              更新/攜帶信息    存入新用戶
                    ↓
         解析 Followers / Followees
                    ↓
              遞歸進入下一層解析

下一步

下一篇將深入分析知乎登錄請求、_xsrf Token 處理、驗證碼識別以及 Follower API 的參數構造。