搜索引擎核心：分詞 + 關鍵詞權重 + 倒排索引匹配算法

需求

輸入問題，數據庫匹配相關內容（如 CSDN 搜索），需要什麼算法？

核心流程

1. 分詞：將查詢字符串切分為關鍵詞序列。
   中文：jieba, IKAnalyzer, HanLP (詞典+統計/深度學習)。
   英文：空格/標點分詞 + 詞幹提取。
2. 關鍵詞權重計算：TF-IDF, BM25, TextRank 等。
   高權重詞（實體、專有名詞）優先匹配，低權重詞（停用詞、助詞）降權或過濾。
3. 倒排索引：關鍵詞 → {文檔ID, 位置, 權重}。
   構建階段：文檔分詞 → 更新索引。
   查詢階段：分詞 → 取交集/並集 → 按權重排序 → Top-K 返回。
4. 排序模型：學習排序 / 深度語義匹配 (BERT 向量相似度) 進一步精排。

示例

查詢：「怎麼在數據庫匹配符合的內容」

• 分詞：[怎麼, 在, 數據庫, 匹配, 符合, 內容] → 過濾停用詞 → [數據庫, 匹配, 符合, 內容]。
• 權重：數據庫(高) > 匹配(中) > 符合(中) > 內容(低)。
• 索引命中：包含「數據庫」的文檔優先，再看「匹配」共現度。
• 最終排序：BM25 分 + 語義向量相似度。

工程落地

• 全文搜索引擎：Elasticsearch (基於 Lucene)，開箱即用分詞、倒排、分佈式、REST API。
• 中文分詞插件：elasticsearch-analysis-ik (智能/最細粒度模式)。
• 向量搜索：dense_vector 類型 + script_score 實現語義檢索。

**分詞 → 權重 → 倒排索引 → 排序，是搜索引擎不變的鐵三角。**