MySQL 整合 Sphinx 實現多執行緒搜尋完整指南

痛點

• MySQL/Sphinx 單查詢 單執行緒：32 核 16 盤機器只用 1 核 1 盤
• CPU 密集型僅用 ~3% 整機算力，IO 密集型 ~6%
• 單核單盤 10 秒查詢，上 32 核 16 盤仍 10 秒，零提升

解決方案：Sphinx 分散式搜尋單機部署

Sphinx 原生支援分散式搜尋：多節點分片索引 + 聚合節點合併結果。單機模擬多節點 即可並行化查詢。

配置前：單一索引

source src1 { type = mysql; sql_query = SELECT id, text FROM table; }
index idx1 { type = plain; source = src1; }
searchd { dist_threads = 0; }

配置後：3 核並行 (假設 3 核機器)

source src1 { type = mysql; sql_query = SELECT id, text FROM table; }

source src1p0 : src1 { sql_query = SELECT id, text FROM table WHERE id % 3 = 0; }
source src1p1 : src1 { sql_query = SELECT id, text FROM table WHERE id % 3 = 1; }
source src1p2 : src1 { sql_query = SELECT id, text FROM table WHERE id % 3 = 2; }

index idx1_template { type = plain; source = src1; }
index idx1p0 : idx1_template { source = src1p0; }
index idx1p1 : idx1_template { source = src1p1; }
index idx1p2 : idx1_template { source = src1p2; }

index idx1 { type = distributed; local = idx1p0; local = idx1p1; local = idx1p2; }
searchd { dist_threads = 3; }

關鍵點

• 資料分片：id % 3 將資料均分 3 片 (生產環境建議用輔助表配合 sql_query_range)
• dist_threads = 3：啟用 3 執行緒並行查詢本地分片
• 重建索引：indexer 可同步並行建立 idx1p0~idx1p2
• 應用端零修改：仍查詢 idx1，Sphinx 內部自動分發合併

效能注意事項

• 合併階段為 單執行緒：大量結果合併、排序、GROUP BY COUNT 可能成瓶頸
• 查看查詢日誌 matches 數量評估合併成本
• 大多數查詢顯著加速，極少數例外

無需修改應用與資料庫，僅調整 Sphinx 配置即可釋放多核算力，極高性價比優化方案。