商品網站爬蟲開發：從需求分析到代碼交付的完整流程紀實

需求背景

目標站點：https://www.soukai.com (商品信息)。需爬取商品列表/詳情頁數據，交付可運行源碼。

技術選型與架構

核心代碼骨架

# items.py
class SoukaiItem(scrapy.Item):
    product_id = scrapy.Field()
    name = scrapy.Field()
    price = scrapy.Field()
    category = scrapy.Field()
    spec = scrapy.Field()
    image_urls = scrapy.Field()
    detail_html = scrapy.Field()
    crawl_time = scrapy.Field()

# spiders/soukai.py
class SoukaiSpider(scrapy.Spider):
    name = 'soukai'
    allowed_domains = ['soukai.com']
    start_urls = ['https://www.soukai.com/']
    
    custom_settings = {
        'DOWNLOAD_DELAY': 1.5,
        'RANDOMIZE_DOWNLOAD_DELAY': True,
        'CONCURRENT_REQUESTS_PER_DOMAIN': 8,
        'DEFAULT_REQUEST_HEADERS': {'User-Agent': 'Mozilla/5.0 ...'},
        'ITEM_PIPELINES': {'soukai.pipelines.MongoPipeline': 300},
    }

    def parse(self, response):
        # 1. 列表頁提取商品鏈接
        for href in response.xpath('//a[@class="product-link"]/@href').getall():
            yield response.follow(href, self.parse_detail)
        
        # 2. 翻頁
        next_page = response.xpath('//a[@class="next-page"]/@href').get()
        if next_page:
            yield response.follow(next_page, self.parse)

    def parse_detail(self, response):
        item = SoukaiItem()
        item['product_id'] = response.url.split('/')[-1].split('.')[0]
        item['name'] = response.xpath('//h1[@class="product-title"]/text()').get('').strip()
        item['price'] = response.xpath('//span[@class="price"]/text()').re_first(r'[\d.]+')
        item['category'] = response.xpath('//nav[@class="breadcrumb"]//a[last()]/text()').get('')
        item['spec'] = response.xpath('//div[@class="spec-table"]//tr').xpath('string(.)').getall()
        item['image_urls'] = response.xpath('//img[@class="product-img"]/@src').getall()
        item['detail_html'] = response.text
        item['crawl_time'] = datetime.utcnow().isoformat()
        yield item

# pipelines.py
class MongoPipeline:
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(spider.settings.get('MONGO_URI'))
        self.db = self.client[spider.settings.get('MONGO_DB')]
    def close_spider(self, spider):
        self.client.close()
    def process_item(self, item, spider):
        self.db.products.update_one(
            {'product_id': item['product_id']},
            {'$set': dict(item)},
            upsert=True
        )
        return item

關鍵難點與解決

1. 動態渲染：商品價格/評價由 JS 渲染 → 接入 scrapy-splash 或 selenium/playwright 中間件，或直接逆向分析 AJAX 接口 (優先)；
2. 反爬驗證碼：登錄/查詢觸發滑塊/點選 → 接入打碼平台 API (超級鷹/雲碼) 或 Headless 模擬人類軌跡；
3. 數據清洗：價格含貨幣符號、規格表結構不一 → 管道中統一正則提取、標準化單位；
4. 增量爬取：利用 Last-Modified/ETag 或數據庫時間戳過濾已爬數據；
5. 分佈式去重：Redis 集合存儲已爬 URL 指紋，多節點共享。

交付清單

• 完整 Scrapy 項目源碼 (含 requirements.txt/Dockerfile)；
• 配置文件模板 (settings.py.template)：代理、數據庫、代理池 API Key；
• 部署文檔：docker-compose up -d 一鍵啟動 Scrapyd + MongoDB + Redis；
• 運行報告：爬取統計 (請求數、成功率、耗時、數據量)、樣本數據 (JSON/CSV)；
• 維護指南：如何添加新字段、調整並發、更換代理池、處理結構變更。

法律與道德合規

• 遵守 robots.txt、User-agent: * 規則；
• 控制爬取頻率 (DOWNLOAD_DELAY)，不影響站點正常服務；
• 僅爬取公開商品信息，不繞過登錄/驗證碼獲取私有數據；
• 數據僅供內部分析，不再分發、不商業競爭性使用。

總結

「寫完了，挺簡單的，寫了一個下午」——這句話背後是**成熟框架 (Scrapy) + 標準化流程 + 經驗積累**。爬蟲開發核心不在「請求/解析」幾行代碼，而在於**反爬對抗、數據質量、工程化交付、合規邊界**。掌握 Scrapy 架構、中間件/管道擴展、分佈式部署，才能從「寫個腳本」進化為「交付產品級爬蟲系統」。