Apache Lucene 全文檢索引擎實戰（一）：索引建立核心流程詳解

系列導讀

本系列將深入剖析 Apache Lucene 核心機制，首篇聚焦索引建立全流程。Lucene 作為 Java 生態最成熟的全文檢索函式庫，廣泛應用於 Elasticsearch、Solr 等搜尋平台底層。

索引建立核心步驟

1. 文件準備：將原始資料（資料庫記錄、檔案、網頁等）轉換為 Lucene Document 物件，每欄位對應 Field（儲存策略、分析策略可配置）。
2. 分析器處理：Analyzer 負責文本分詞、過濾停用詞、詞幹提取等。內建 StandardAnalyzer、IKAnalyzer（中文）等，亦可自訂。
3. 索引寫入：IndexWriter 核心類別，管理索引寫入、合併、最佳化。關鍵配置：IndexWriterConfig 設定分析器、相似度模型、合併策略。
4. 提交與刷新：commit() 強制落盤（觸發 fsync），flush() 僅刷新記憶體緩衝區到段檔案。近實時搜尋 (NRT) 依賴 IndexReader 重新開啟或 SearcherManager 管理。

關鍵程式碼範例

// 1. 建立分析器（中文推薦 IKAnalyzer）
Analyzer analyzer = new IKAnalyzer();

// 2. 配置索引寫入器
IndexWriterConfig config = new IndexWriterConfig(analyzer);
config.setOpenMode(OpenMode.CREATE_OR_APPEND);
config.setMergePolicy(new LogByteSizeMergePolicy());

// 3. 開啟索引目錄（FSDirectory 或 RAMDirectory）
Directory dir = FSDirectory.open(Paths.get("/path/to/index"));
try (IndexWriter writer = new IndexWriter(dir, config)) {
    // 4. 批次建立文件並寫入
    for (DataRecord record : dataSource) {
        Document doc = new Document();
        doc.add(new StringField("id", record.getId(), Field.Store.YES));
        doc.add(new TextField("title", record.getTitle(), Field.Store.YES));
        doc.add(new TextField("content", record.getContent(), Field.Store.NO));
        writer.addDocument(doc);
    }
    // 5. 提交持久化
    writer.commit();
}

索引結構解析

• 段：不可變的索引單元，包含倒排索引、正向索引、儲存欄位、向量等。段合併由 MergePolicy 控制。
• 倒排索引：Term → Postings List（文件 ID + 位置/偏移/詞頻），支援快速全文檢索。
• 儲存欄位：Field.Store.YES 的欄位值儲存於儲存檔，供檢索結果直接讀取。

效能調優要點

• 批次提交文件（addDocuments）減少 commit 頻率。
• 調整 RAMBufferSizeMB（預設 16MB）控制記憶體緩衝區大小。
• 合併策略選擇：TieredMergePolicy（預設）平衡寫入/查詢，LogByteSizeMergePolicy 適合大量寫入。
• 避免過度最佳化（forceMerge(1)），僅在唯讀索引階段執行。

後續主題預告

• 查詢解析與進階搜尋語法
• 評分模型與相似度算法
• 近實時搜尋 (NRT) 架構
• 索引維護與備份恢復