大智慧、雪球、東方財富等成熟財經資訊平台,其核心數據(行情、財報、新聞、公告、研報等)絕非免費爬蟲獲取,而是透過商業授權採購自專業金融數據供應商。
主要上游數據供應商
- Wind(萬得):機構級首選,覆蓋 A 股、港股、美股、債券、基金、期貨、宏觀、另類數據,API 豐富,價格昂貴(年費數十萬至百萬人民幣)。
- 同花順:提供終端、數據 API、量化平台,數據質量高,價格略低於 Wind。
- 巨靈財經、數擎數據、恆生電子:新興供應商,提供 RESTful API、WebSocket 即時行情、歷史數據下載,靈活計費(按調用量/頻率/模組)。
- 交易所直連:頭部券商/基金可直接向上交所/深交所/港交所購買 Level-2 行情、逐筆成交數據,成本極高、技術門檻高。
- 財新、華爾街見聞、第一財經:新聞/研報內容授權。
平台端數據架構典型設計
- 接入層:定時任務(ETL)/長連結 從供應商拉取增量/全量數據,寫入 Kafka/消息佇列。
- 存儲層:
行情時序數據 → InfluxDB / TimescaleDB / DolphinDB / ClickHouse。
結構化財報/基本面 → MySQL / PostgreSQL / TiDB。
全文檢索(新聞/公告/研報) → Elasticsearch。
緩存熱點行情 → Redis Cluster。
- 服務層:內部微服務(行情服務、基本面服務、新聞服務)提供 gRPC/HTTP API 給前端/APP。
- 展示層:Web/App 透過 WebSocket 推送即時行情,RESTful 查詢歷史/基本面。
個人/小團隊如何獲取同類數據?