中文文本處理常見問題彙總：分詞、編碼轉換、拼音、語料工具指南

核心概念釐清

• 分詞：以語言「詞」為單位（如「北京 是 中國 的 首都」）。
• 分字：以書寫符號「漢字」為單位（如「北 京 是 中 國 的 首 都」）。
• 兩者本質不同，下游任務（檢索、語言模型）通常需要分詞。

主流中文分詞工具

編碼轉換工具（GB/Big5/UTF-8/UTF-16）

• 批次轉換：Multilingual Corpus Tool (Scott Piao)、WordSmith Tools 4 (Text Converter)。
• 單檔/互動：南極星 NJ Star、MS Word/Notepad、Chinese Annotation Tool (線上)。

漢字轉拼音

• 南極星 NJ Star、Chinese Annotation Tool (線上)、MS Word (亞洲語言版面)。

語料前處理工具鏈

進階資源

• A Corpus Worker's Toolkit (ACWT)：NoteTab clips + Perl 腳本集，適合無預算研究者快速處理中英語料。
• Excel 計算共現統計 (T-Score, MI, Z-score) 輔助語料分析。

工具選型建議

1. 學術研究：優先開源/免費工具 (ICTCLAS 學術授權、AntConc、ACWT)。
2. 工程落地：評估效能、授權、維護性，考慮結構化庫。jieba (Python)、THULAC、LTP 等現代 NLP 庫更易整合。
3. 大規模語料：需分散式處理 (Spark NLP、Flink) 或高效率 C++ 庫。