Sphinx 全文檢索索引建立流程深度解析

階段 1：文件收集（Document Collection）

從資料來源（MySQL、PostgreSQL、XML、CSV、JSON、Tsvpipe 等）抽取原始文件。每個文件包含唯一 ID 及多個欄位（標題、內容、標籤、屬性等）。

# sphinx.conf 範例
source my_source {
    type = mysql
    sql_host = localhost
    sql_user = sphinx
    sql_pass = secret
    sql_db = mydb
    sql_query = SELECT id, title, content, category_id, created_at FROM articles
    sql_attr_uint = category_id
    sql_attr_timestamp = created_at
}

階段 2：分詞（Tokenization）

將原始文本切分為最小語義單元（Token）。中文需特殊處理：

• ngram：固定長度切分（如 bigram 兩字一切），無需詞典，索引較大
• jieba / mmseg / scws：詞典ベース分詞，精準度高，需維護詞典

index my_index {
    source = my_source
    path = /var/data/my_index
    charset_type = utf-8
    ngram_len = 1        # 單字切分（適用混合語言）
    # 或使用中文分詞器
    # charset_dictpath = /usr/local/sphinx/etc/
    # charset_type = zh_CN.utf-8
}

階段 3：語言處理（Linguistic Processing）

對 Token 進行標準化轉換，提升召回率：

• 小寫轉換：charset_table 定義字元映射
• 詞幹提取：morphology = stem_en, stem_ru（英文、俄文等）
• 停用詞過濾：stopwords = /path/stopwords.txt 過濾「的、是、在」等高頻無意義詞
• 同義詞展開：wordforms 映射「手機→手機, 機」
• 例外詞：exceptions 保護特定詞不被切分（如「C++」）

階段 4：索引建構（Indexing）

將處理後的 Term 建立倒排索引：

• 詞典：所有唯一 Term 及其統計資訊（DF、TF）
• 倒排列表：Term → {DocID, 位置, 權重...}
• 屬性儲存：數值、日期、布林等屬性供過濾/排序
• 壓縮編碼：Varint、PForDelta 等壓縮倒排列表