Python 文本預處理：高效刪除中文標點符號的多種方法

制作中文語料庫時，需刪除文本中的所有標點符號。本文對比正則表達式、字符串翻譯、第三方庫等多種方案的性能與適用場景。

方法對比

1. 正則表達式（通用、靈活）

import re

# 方案 A：匹配所有非中英文數字字符（保留字母數字）
def remove_punct_regex(text):
    return re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', '', text)

# 方案 B：顯式列出中文標點（更精確）
CN_PUNCT = r'[！，。？、；：「」『』（）【】《》〈〉……——～·￥\s+]'
def remove_punct_explicit(text):
    return re.sub(CN_PUNCT, '', text)

# 方案 C：Unicode 類別 \p{P} (Python 3.6+ regex 模塊)
# pip install regex
import regex
def remove_punct_unicode(text):
    return regex.sub(r'\p{P}+', '', text)

2. str.translate（極速、內存效率高）

import string

# 構建翻譯表：標點 -> None
# 合併 ASCII 標點 + 常用中文標點
punct_map = str.maketrans('', '', string.punctuation + '！，。？、；：「」『』（）【】《》〈〉……——～·￥')
def remove_punct_translate(text):
    return text.translate(punct_map)

3. 第三方庫 jieba/hanlp 分詞時自動過濾

import jieba

def tokenize_no_punct(text):
    # jieba 默認會將標點作為單獨詞元輸出
    words = jieba.lcut(text)
    return [w for w in words if w not in string.punctuation and w not in '！，。？、；：「」『』（）【】《》〈〉……——～·￥']

性能測試（10MB 純文本）

推薦方案選擇

• 純去標點、追求極致性能：str.translate + 預構建翻譯表
• 需保留特定符號（如英文引號、百分號）：正則表達式精確控制
• 後續需分詞：直接用 jieba 分詞後過濾，一步到位
• 處理多語言混雜文本：regex 模塊的 \p{P} 覆蓋所有 Unicode 標點

工具替代：UltraEdit/Notepad++ 批量替換

若為一次性數據清洗，無需寫代碼：

1. 打開文件 → Ctrl+H（替換）
2. 勾選「正則表達式」
3. 查找：[！，。？、；：「」『』（）【】《》〈〉……——～·￥\p{P}]（Notepad++ 需安裝 Unicode 正則插件）
4. 替換為：空
5. 「全部替換」

中文語料庫資源推薦

新聞文本相似度分析流程建議

1. 獲取數據 → 2. 去標點/清洗 (str.translate) → 3. 分詞
4. 去停用詞 (哈工大停用詞表) → 5. TF-IDF / Word2Vec / BERT 向量化
6. 余弦相似度計算 → 7. 關鍵詞提取 (TextRank / TF-IDF)

總結

Python 刪除中文標點：**性能首選 str.translate，功能首選正則/ regex**。制作語料庫建議直接使用成熟分詞工具（jieba/hanlp）內置過濾，避免重複造輪子。語料庫資源豐富，按任務類型選擇：分類用 THUCTC/SogouCA，預訓練用 CLUECorpus，關鍵詞提取可基於分詞後統計實現。

1. 上一篇文章： OpenCV cvmGet 僅支持浮點型矩陣：8U 類型讀取崩潰解決方案
2. 下一篇文章： Universal ImageLoader 配置報錯：Application 類未註冊導致初始化失效

程式設計綜合問答

Web 前端基礎測試題：HTML 表格合併單元格 (colspan) 正確寫法解析

題目 創建表格：第一行兩列 (a, b)，第二行一列跨兩列

JavaScript 多 Form 表單提交：target=_blank 或 AJAX 異步解決

問題 兩個 <form> 連續 submit()

Java 三元運算符嵌套判斷空對象：優先級陷阱與正確括號分組

問題代碼 // 住院非空處理，否則判斷門診 zyyzjym

C 語言動態記憶體分配與靜態分配的差異與應用場景

靜態分配 編譯期決定大小，如 int arr[100];