Sphinx 工作原理深度解析：從數據源到全文檢索的完整流程

Sphinx 是什麼？

Sphinx 是高性能全文檢索引擎，特點：索引構建極快（10-15MB/s）、查詢極快（百萬文檔 150-250 QPS）、易於 SQL/XML 整合、原生支持分布式擴展。

為什麼選擇 Sphinx？

典型痛點場景

跨庫、跨機房的文章標題+內容聯合搜索。MySQL LIKE '%kw%' 全表掃描、跨庫網絡開銷大、無相關度排序。

Sphinx 優勢

• 數據一次性載入內存，搜索無隨機磁盤 IO
• 支持多源數據合並索引，不限單表字段
• 屬性過濾/排序/分組在內存完成，效率遠超 MySQL
• Multi-Query 機制：一次請求並行返回多個結果集
• 分片聚合：分庫分表場景下，Sphinx 只需幾行配置即可合並分頁

核心工作流程

+----------+      +----------+      +--------+      +-----+
| Database | ---> | Indexer  | ---> | Searchd| <--- | APP |
+----------+      +----------+      +--------+      +-----+
   數據源          索引程序          搜索服務        客戶端

1. Indexer：定時/手動從數據源（MySQL、PostgreSQL、XML、CSV）拉取數據，分詞、構建倒排索引，輸出索引文件
2. Searchd：常駐進程，載入索引到內存，監聽 9312（SphinxQL）/9306（API）端口，處理搜索請求
3. APP：調用 SphinxAPI / SphinxQL / SphinxSE，發送關鍵詞，獲取文檔 ID 與屬性，再回主庫取詳情（可選）

索引構建細節

• 分詞：英文按空格/標點，中文靠 N-gram（單字）或 mmseg（詞典）
• 倒排索引：詞 -> 文檔 ID 列表，支撐毫秒級檢索
• 屬性存儲：整數、浮點、時間戳、MVA 等，用於過濾/排序，不參與全文匹配

擴展架構

分布式索引

配置 index distributed { type=distributed; local=idx1; agent=host2:idx2; }，Searchd 自動並行查詢各分片並合並排序。

實時索引 (RT Index)

支持 INSERT/REPLACE/DELETE 實時更新，無需定時 Rebuild，適合高頻寫入場景。

總結

Sphinx 以「空間換時間、順序讀代替隨機讀、內存計算代替磁盤計算」三大法寶，解決了傳統關係型數據庫全文檢索的性能瓶頸，是構建高性能搜索服務的首選組件。