Java 中文錯別字識別技術方案：分詞 + 詞典匹配 + 語言模型糾錯

核心思路

中文錯別字識別**不像英文有明確單詞邊界**，需結合**分詞、詞典、語言模型**三層防線：

輸入文本 → 分詞 (斷句/切詞) → 候選詞生成 → 詞典過濾 → 語言模型打分 → 糾錯輸出

關鍵技術棧 (Spring MVC + iBatis/MyBatis 環境)

1. 分詞引擎選型

2. 詞典來源與結構

• **通用詞典**：現代漢語詞典、同義詞詞林、THUOCL、Sogou 細胞詞庫 (需授權)
• **領域詞典**：業務專有名詞 (如醫療、法律、電商 SKU)，存入 DB 表 `dict_term(term, freq, tag)`
• **混淆集**：同音/同形字對表 (如 `的/地/得`、`沒/沒`)，可從論文數據集 (SIGHAN, CSCD) 獲取

3. 識別算法流程

// 伪代碼
List detect(String text) {
    List terms = HanLP.segment(text);  // 分詞
    List errors = new ArrayList<>();
    for (Term t : terms) {
        // 1. 詞典精確匹配
        if (dict.contains(t.word)) continue;
        // 2. 編輯距離候選 (Levenshtein ≤ 2)
        List cands = confusionSet.getOrDefault(t.word, Collections.emptyList());
        // 3. 語言模型打分 (KenLM / BERT / N-gram)
        String best = cands.stream()
            .max(Comparator.comparing(c -> lm.score(replace(text, t, c))))
            .orElse(null);
        if (best != null && !best.equals(t.word)) errors.add(t.word + "->" + best);
    }
    return errors;
}

4. 語言模型選擇

• N-gram (KenLM)：輕量、離線、秒級加載，適合嵌入 Java 進程 (JNI)
• BERT / RoBERTa (Masked LM)：準確率最高，需 Python 微服務 (Transformers + FastAPI)，延遲 50-200ms
• 混合策略：短文本用 KenLM，長文本/高價值內容調用 BERT API

工程落地建議

1. **微服務化**：分詞/糾錯獨立部署 (gRPC/REST)，Java 主服務輕量調用
2. **緩存熱詞**：Redis 緩存高頻查詢結果，降低延遲
3. **增量更新**：詞典變更發布事件 → 分詞引擎熱加載 (HanLP `CustomDictionary.reload()`)
4. **評估指標**：Precision/Recall/F1 在標註測試集 (如 SIGHAN15) 定期回歸

總結

**分詞 + 詞典過濾 + 語言模型打分** 是中文錯別字識別的標準範式。選型上：**HanLP + KenLM** 可全 Java 棧落地；追求 SOTA 準確率則引入 **BERT 微服務**。iBatis/MyBatis 僅負責詞典/混淆集的持久化讀取，核心算法在服務層實現。

1. 上一篇文章： Struts1 Action 之間跳轉與參數傳遞實現方法
2. 下一篇文章： WPF/UWP Image 控件 Binding 圖片路徑不顯示：Uri 協議、相對路徑、BitmapImage 完整解析

程式設計綜合問答

jQuery Checkbox 全選/全不選失效？attr vs prop 陷阱與正確寫法

使用 $(:checkbox).attr(checked,

IE 瀏覽器頁面滾動條固定底部？Java 後端其實無關，純前端 JS 解決

許多開發者遇到「想讓結果表格的滾動條固定在螢幕底部，往上捲動

VBA Worksheet_Change 記錄修改時間並自定義顯示格式（如 mm-dd）

完整代碼 Private Sub Worksheet_Ch

ASP.NET 跨專案引用類別失效：專案引用與命名空間檢查清單

常見錯誤原因 未加入專案參考：僅將 .cs 檔複製到專案，