基於統計機器翻譯的文白對譯：NiuTrans工具完整訓練流程

基於統計機器翻譯的文白對譯：NiuTrans工具完整訓練流程

使用NiuTrans工具訓練文言文↔白話文翻譯模型，涵蓋語料預處理、詞對齊、翻譯模型、語言模型、參數調優五大階段。

一、語料預處理

• 統一標點、刪除無關符號、去首尾空格
• 分詞策略：白話文用標準中文分詞，文言文用一元分詞（單字）
• 輸出平行語料src.txt、tgt.txt，行對齊、空格分詞

二、詞對齊（GIZA++）

• 雙向對齊：src→tgt產生src2tgt.A3.final，tgt→src產生tgt2src.A3.final
• 合併雙向結果生成alignment.txt
• 關鍵問題：句長差異大時GIZA++會截斷長句，導致雙向A3文件行數不一致，合併報錯

解決方案：一致性檢查腳本

# check.py 核心邏輯
# 遍歷兩個A3文件，檢查第i句對的source/target length是否互換一致
# 不一致的句對從兩個A3文件和平行語料中同時剔除
# 修正後調用 NiuTrans.SymAlignment 合併生成 alignment.txt

三、翻譯模型訓練

perl NiuTrans-phrase-train-model.pl \
  -tmdir $workDir/model.phrase/ \
  -s $srcFile -t $tgtFile -a $aligFile

四、語言模型訓練

僅需目標語言語料（如lm.txt），訓練3-gram：

perl NiuTrans-training-ngram-LM.pl \
  -corpus $lmodelFile -ngram 3 \
  -vocab $workDir/lm/lm.vocab \
  -lmbin $workDir/lm/lm.trie.data

五、參數調優（MERT）

perl NiuTrans-phrase-generate-mert-config.pl \
  -tmdir $workDir/model.phrase/ \
  -lmdir $workDir/lm/ -ngram 3 \
  -o $workDir/NiuTrans.phrase.user.config

總腳本 train.sh

#!/bin/sh
workDir=$1; srcFile=$2; tgtFile=$3; lmodelFile=$4
perl NiuTrans-running-GIZA++.pl -src $srcFile -tgt $tgtFile -out $aligFile -tmpdir $workDir/wordalignment/
python check.py $src2tgtA3File $tgt2srcA3File $srcFile $tgtFile
../bin/NiuTrans.SymAlignment $tgt2srcA3File.check $src2tgtA3File.check $aligFile
perl NiuTrans-phrase-train-model.pl -tmdir $workDir/model.phrase/ -s $srcFile.check -t $tgtFile.check -a $aligFile
perl NiuTrans-training-ngram-LM.pl -corpus $lmodelFile -ngram 3 -vocab $workDir/lm/lm.vocab -lmbin $workDir/lm/lm.trie.data
perl NiuTrans-phrase-generate-mert-config.pl -tmdir $workDir/model.phrase/ -lmdir $workDir/lm/ -ngram 3 -o $workDir/NiuTrans.phrase.user.config

測試翻譯

perl NiuTrans-phrase-decoder-model.pl \
  -test $workDir/test/test.txt \
  -c $workDir/NiuTrans.phrase.user.config \
  -output $workDir/test/Xbest.out

修改腳本第56行-nbest參數可輸出多候選結果。

關鍵注意點

• GIZA++腳本第8步（合併）必須註釋，改用Python檢查後手動合併
• check.py需放在scripts/目錄
• 文白翻譯分詞策略差異是核心技巧
• 通用於任意語言對，非限定文白

此流程將NiuTrans各組件串聯為可自動化的訓練管線，解決了GIZA++截斷導致的合併失敗問題，實戰價值高。