SQL Server 2005 SSIS 模糊查找與模糊分組：資料清洗利器

真實世界的資料充滿錯別字、縮寫、截斷、缺漏字元等問題。SQL Server 2005 SSIS 引入模糊查找與模糊分組轉換，提供不需撰寫複雜自訂程式碼即可處理髒資料的標準化方案。

核心功能比較

演算法優勢

• Token-based 編輯距離：結合 Token 數量、順序、相對頻率，比單純字元編輯距離更精準。
• 語言獨立：不依賴 Soundex 等語言特定演算法，支援多語系資料。
• 抗干擾性強：不易被字元順序調換誤導，能偵測高階模式。
• 整合 SSIS 設計師：視覺化設定，無需撰寫程式碼即可完成複雜清洗邏輯。

模糊查找設定重點

1. 指定參考資料表與聯結鍵（可多欄位）。
2. 設定最低相似度閾值（0~1，預設 0.8），低於此分數視為無比對結果。
3. 啟用快取模式：參考表較小時載入記憶體，大幅提升效能。
4. 輸出欄位：_key_out（參考表 PK）、_score（相似度）、_confidence（信心度）。

模糊分組設定重點

1. 選擇分組鍵欄位（可多欄位，各自設定權重）。
2. 設定相似度閾值決定群組粒度。
3. 輸出欄位：_key_in（群組 ID）、_score、_clean_<column>（標準化代表值）。
4. 進階：可自訂 Token 分隔符、比較旗標（忽略大小寫、寬鬆比對等）。

效能調校建議

• 參考表超過 10 萬筆建議使用索引快取而非完整快取。
• 預先以 精確比對 過濾明顯相符資料，僅將疑難資料送入模糊轉換。
• 調整 MaxMemoryUsage、Exhaustive 屬性平衡速度與精度。
• SQL Server 2012+ 可搭配 DQS (Data Quality Services) 知識庫進行更進階的知識驅動清洗。

實務應用架構

來源資料
   │
   ├─▶ 精確查找（Lookup 轉換）──▶ 符合 → 正常流程
   │
   └─▶ 模糊查找（閾值 0.85）──▶ 高信心 → 自動修正
          │
          └─▶ 低信心 → 人工複核佇列
                │
                └─▶ 模糊分組（閾值 0.80）──▶ 發現潛在重複群組 → 合併/刪除