Java 讀取檔案時依內容自動識別編碼防止亂碼實戰

前言

承接上一篇偵測工具，本文聚焦「如何在實際讀取流程中無縫整合編碼偵測」，提供三種整合模式：工具類直呼、InputStreamReader 裝飾器、Spring Resource 擴充，並針對大檔案、串流處理、記憶體效能給出最佳化建議。

模式一：工具類直呼 (最簡單)

String encoding = CharsetDetector.detect(file);
try (BufferedReader br = new BufferedReader(
        new InputStreamReader(new FileInputStream(file), encoding))) {
    // 正常逐行處理
}

模式二：自訂 AutoDetectReader (裝飾器模式，支援 mark/reset)

package com.example.io;

import java.io.*;

public class AutoDetectReader extends Reader {
    private final Reader delegate;

    public AutoDetectReader(InputStream in) throws IOException {
        // 先用 BufferedInputStream 偵測
        BufferedInputStream bis = new BufferedInputStream(in);
        bis.mark(4096);
        String encoding = CharsetDetector.detectStream(bis); // 需新增靜態方法接受 InputStream
        bis.reset();
        this.delegate = new InputStreamReader(bis, encoding);
    }

    @Override public int read(char[] cbuf, int off, int len) throws IOException {
        return delegate.read(cbuf, off, len);
    }
    @Override public void close() throws IOException {
        delegate.close();
    }
    // 其他 read/ready/skip 直接委派...
}

使用方式：
try (Reader r = new AutoDetectReader(new FileInputStream(file))) { ... }

模式三：Spring Resource 整合 (企業級專案推薦)

@Component
public class EncodingAwareResourceReader {

    public String readAsString(Resource resource) throws IOException {
        try (InputStream is = resource.getInputStream()) {
            BufferedInputStream bis = new BufferedInputStream(is);
            bis.mark(4096);
            String encoding = CharsetDetector.detectStream(bis);
            bis.reset();
            return new String(bis.readAllBytes(), encoding); // JDK 9+
        }
    }

    public Stream<String> lines(Resource resource) throws IOException {
        InputStream is = resource.getInputStream();
        BufferedInputStream bis = new BufferedInputStream(is);
        bis.mark(4096);
        String encoding = CharsetDetector.detectStream(bis);
        bis.reset();
        return new BufferedReader(new InputStreamReader(bis, encoding)).lines();
    }
}

控制器注入：
@Autowired EncodingAwareResourceReader reader;
Stream<String> lines = reader.lines(new ClassPathResource("data.csv"));

大檔案與串流處理最佳化

CharsetDetector 新增靜態方法 detectStream

public static String detectStream(BufferedInputStream bis) throws IOException {
    bis.mark(4);
    byte[] bom = new byte[4];
    int read = bis.read(bom);
    if (read == -1) return "GBK";
    // ... BOM 檢查邏輯同 detect(File) ...
    bis.reset();
    return heuristicUtf8OrGbk(bis) ? StandardCharsets.UTF_8.name() : "GBK";
}

效能與記憶體基準 (100MB 檔案)

結論：大檔案務必使用串流/逐行處理，避免 readAllBytes 造成 OOM。

常見坑點與解法

• BOM 殘留：UTF-8 BOM (EF BB BF) 若未移除，首行會帶入 \uFEFF。解法：偵測到 UTF-8 BOM 時，bis.skip(3) 或讀取首行後 line.replace("\uFEFF", "")。
• 混合編碼檔案：極少見，但若檔案前半段 ASCII、後半段中文，啟發式可能誤判。解法：掃描範圍擴大至 128KB 或全檔。
• Windows Notepad 儲存為 UTF-8 無 BOM：Java 18+ 預設 UTF-8 可正常讀取；舊版 JVM 需明確指定 StandardCharsets.UTF_8。

測試驗證清單

1. UTF-8 有 BOM / 無 BOM
2. UTF-16LE / UTF-16BE 有 BOM
3. UTF-32LE / UTF-32BE 有 BOM
4. GBK / GB2312 (無 BOM)
5. Big5 / Big5-HKSCS (無 BOM)
6. 純 ASCII
7. 空檔案
8. 含 \uFEFF 零寬空白的檔案

建議將上述案例納入單元測試，確保升級 JDK/依賴庫後不退化。