現象
網頁表格數據在頁面可見,但「查看源碼」找不到,疑似 AJAX 異步加載或框架渲染。
排查步驟
- 打開 Fiddler(或瀏覽器 DevTools Network 面板)。
- 刷新頁面,觀察所有請求,重點關注 XHR/Fetch 類型、返回 JSON 的接口。
- 找到返回表格數據的請求,記錄 URL、Method、Headers、Request Body。
- 在 C#/Python/Node 中用
HttpClient/requests 模擬該請求(攜帶必要 Cookie/Token),解析 JSON 獲取結構化數據。
常見難點
- 簽名/Token 驗證:需分析 JS 加密邏輯或模擬瀏覽器獲取 Cookie。
- 動態渲染:若為 React/Vue 客戶端渲染,數據在初始 HTML 的
<script id="__NEXT_DATA__"> 或類似標籤中,可直接正則提取。