網頁字符集檢測三大核心方法：HTTP頭、Meta標籤、Cpdetector 實戰

為什麼需要字符集檢測？

爬蟲、郵件解析、異構系統集成時，目標頁面往往未聲明或錯誤聲明編碼。強行按 UTF-8 解碼會導致亂碼，必須實現自動檢測。

三大核心檢測策略

策略 1：解析 HTTP 響應頭 Content-Type

優先級最高，HTTP 協議標準字段。

Content-Type: text/html; charset=GBK

Java 實現

public String detectFromHttpHeader(HttpURLConnection conn) {
    String contentType = conn.getContentType(); // 如 "text/html; charset=GB2312"
    if (contentType != null) {
        Matcher m = Pattern.compile("charset\\s*=\\s*([^\\s;]+)").matcher(contentType);
        if (m.find()) return m.group(1).trim();
    }
    return null;
}

策略 2：解析 HTML <meta> 標籤

HTML4/5 兩種寫法：

<!-- HTML4 -->
<meta http-equiv="Content-Type" content="text/html; charset=GB2312">

<!-- HTML5 -->
<meta charset="UTF-8">

Java 實現

public String detectFromHtmlMeta(String html) {
    // HTML5 風格
    Matcher m5 = Pattern.compile("<meta\\s+charset\\s*=\\s*[\"']?([^\"'>]+)").matcher(html);
    if (m5.find()) return m5.group(1).trim();

    // HTML4 風格
    Matcher m4 = Pattern.compile("<meta\\s+http-equiv\\s*=\\s*[\"']Content-Type[\"']\\s+content\\s*=\\s*[\"'][^\"']*charset\\s*=\\s*([^\"'>]+)").matcher(html);
    if (m4.find()) return m4.group(1).trim();

    return null;
}

策略 3：Cpdetector 統計學檢測（兜底方案）

基於字節頻率統計推斷編碼，適用於無聲明頁面。

Maven 依賴

<dependency>
    <groupId>com.chenlb.mmseg4j</groupId>
    <artifactId>cpdetector</artifactId>
    <version>1.0.12</version>
</dependency>

完整檢測代碼

import cpdetector.io.*;

public class CharsetDetector {
    private static final CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();

    static {
        // 添加解析器（優先級遞減）
        detector.add(new ParsingDetector(false));           // 1. 解析 HTML meta
        detector.add(JChardetFacade.getInstance());         // 2. Mozilla 統計算法
        detector.add(ASCIIDetector.getInstance());          // 3. ASCII 兜底
        detector.add(UnicodeDetector.getInstance());        // 4. Unicode BOM
    }

    public static String detect(byte[] content) {
        try {
            java.nio.charset.Charset charset = detector.detectCodepage(new ByteArrayInputStream(content));
            return charset != null ? charset.name() : "UTF-8";
        } catch (Exception e) {
            return "UTF-8"; // 最終兜底
        }
    }

    public static String detect(URL url) throws IOException {
        return detect(IOUtils.toByteArray(url.openStream()));
    }
}

綜合檢測鏈：優先級鏈模式

public String detectCharset(URL url, byte[] content) {
    // 1. HTTP 頭
    String charset = detectFromHttpHeader(url.openConnection());
    if (charset != null) return normalizeCharset(charset);

    // 2. HTML Meta
    String html = new String(content, StandardCharsets.ISO_8859_1); // 先用不丟字節的編碼讀出
    charset = detectFromHtmlMeta(html);
    if (charset != null) return normalizeCharset(charset);

    // 3. Cpdetector 統計檢測
    return CharsetDetector.detect(content);
}

private String normalizeCharset(String charset) {
    return Charset.forName(charset).name(); // 標準化大小寫、別名
}

編碼名稱標準化對照表

避坑指南

1. 先讀取字節流，檢測完成後再按編碼解碼字符串。
2. ISO_8859_1 是「不丟字節」編碼，適合作為中轉讀取 HTML 源碼。
3. Cpdetector 對短文本（<1KB）準確率低，需結合多種算法。
4. 注意 BOM 頭（UTF-8/16/32），UnicodeDetector 會自動識別。

總結

生產環境推薦三級兜底鏈：HTTP Head → HTML Meta → Cpdetector 統計檢測。代碼已封裝為可復用工具類，直接集成項目即可。