一萬張英文單字圖片去重：OCR 辨識 + 字典樹演算法

給定 10,000 張含英文單字的圖片，其中單一單字重複出現兩次，需快速找出該重複單字。核心流程分兩階段：

1. 光學字元辨識（OCR）轉文字

• 使用 Tesseract、PaddleOCR 或商用 API（Google Vision、Azure Computer Vision）批次處理圖片。
• 輸出純文字檔，每行一單字（需後處理去除換行、標點、大小寫正規化）。
• 預估耗時：單機 Tesseract 約 10~30 分鐘；GPU 加速 PaddleOCR 可壓縮至 2~5 分鐘。

2. 字典樹去重檢測

建立 26 叉樹，每個節點含 children[26] 指標與 bool isEnd 標記。插入單字時，若走訪到終端節點 isEnd == true，即發現重複。

struct TrieNode {
    TrieNode* children[26] = {nullptr};
    bool isEnd = false;
};

bool insertAndCheck(TrieNode* root, const string& word) {
    TrieNode* p = root;
    for (char ch : word) {
        int idx = tolower(ch) - 'a';
        if (idx < 0 || idx >= 26) continue; // 忽略非字母
        if (!p->children[idx]) p->children[idx] = new TrieNode();
        p = p->children[idx];
    }
    if (p->isEnd) return true; // 重複
    p->isEnd = true;
    return false;
}

複雜度分析

• 時間：O(N × L)，N=10,000，L=平均單字長度（~10），極快。
• 空間：最多 26^L 節點，實際僅佔用 N×L 節點，約數 MB。

替代方案

• 哈希集合：unordered_set<string>，代碼最簡潔，效能同級。
• 排序比對：將所有單字存入向量，sort 後掃描相鄰重複，無額外資料結構開銷。

工程建議

生產環境建議：OCR 階段使用多進程/分散式佇列（Celery/RQ）並行；去重階段用 unordered_set 開發最快，若記憶體極限才考慮字典樹或外部排序。