UTF-8 中文編碼範圍與讀取完整指南：從位元組識別到實務處理

UTF-8 中文字元位元組特徵

UTF-8 為變長編碼，中文字元佔 3 位元組（基本多文種平面 BMP，U+4E00~U+9FFF）：

關鍵識別規則

• 首位元組：0xE0 ~ 0xEF（3 位元組字元）或 0xF0 ~ 0xF4（4 位元組字元）
• 續位元組：0x80 ~ 0xBF（固定模式 10xxxxxx）
• 中文常見首位元組：0xE4 ~ 0xE9（涵蓋大部分常用漢字）

C# 讀取 UTF-8 混合中英檔案完整範例

方案一：StreamReader 自動偵測（推薦）

string filePath = "data.txt";

// 1. 讀取全文（自動處理 BOM、編碼）
string content = File.ReadAllText(filePath, Encoding.UTF8);

// 2. 逐行處理
foreach (string line in File.ReadLines(filePath, Encoding.UTF8))
{
    // 處理每行...
}

// 3. 串流處理大檔案（記憶體友善）
using (var reader = new StreamReader(filePath, Encoding.UTF8, true, 4096))
{
    string line;
    while ((line = reader.ReadLine()) != null)
    {
        // 處理...
    }
}

方案二：手動位元組解析（教學/特殊需求）

public static List ExtractChineseWords(byte[] utf8Bytes)
{
    var result = new List();
    int i = 0;
    
    while (i < utf8Bytes.Length)
    {
        byte b = utf8Bytes[i];
        
        // ASCII 英數字元 (0x00~0x7F)
        if (b < 0x80)
        {
            i++;
            continue;
        }
        
        // 3 位元組字元 (0xE0~0xEF) - 可能是中文
        if (b >= 0xE0 && b <= 0xEF && i + 2 < utf8Bytes.Length)
        {
            byte b2 = utf8Bytes[i + 1];
            byte b3 = utf8Bytes[i + 2];
            
            // 續位元組檢查
            if (b2 >= 0x80 && b2 <= 0xBF && b3 >= 0x80 && b3 <= 0xBF)
            {
                // 進一步篩選中文範圍：首位元組 0xE4~0xE9
                if (b >= 0xE4 && b <= 0xE9)
                {
                    // 提取 3 位元組轉字串
                    string ch = Encoding.UTF8.GetString(utf8Bytes, i, 3);
                    result.Add(ch);
                }
                i += 3;
                continue;
            }
        }
        
        // 4 位元組字元 (0xF0~0xF4) - 擴展區 B
        if (b >= 0xF0 && b <= 0xF4 && i + 3 < utf8Bytes.Length)
        {
            // 類似檢查...
            i += 4;
            continue;
        }
        
        // 非預期位元組，跳過
        i++;
    }
    
    return result;
}

經典參考資源

1. 字符編碼筆記：ASCII，Unicode和UTF-8 - 閻肅著，淺顯易懂的編碼入門經典
2. UTF-8 編碼規則詳解與 UTF-8 漢字編碼范圍 - 技術細節完整，含位元組對照表
3. Unicode 官方碼表 - 最權威範圍定義

實務陷阱與避坑指南

進階：使用 StringInfo 處理字素叢集

using System.Globalization;

string text = "漢字👨‍👩‍👧‍👦"; // 含 Emoji 字素叢集
var si = new StringInfo(text);

Console.WriteLine($"字元數: {si.LengthInTextElements}"); // 正確計算使用者感知字元數
for (int i = 0; i < si.LengthInTextElements; i++)
{
    Console.WriteLine($"字素 {i}: {si.SubstringByTextElements(i, 1)}");
}

結語

UTF-8 中文讀取核心在於 理解變長編碼結構 與 正確使用框架內建編碼類別。手動位元組解析僅適合教學或極特殊場景，生產系統請優先使用 StreamReader、File.ReadAllText 等高階 API，並明確指定 Encoding.UTF8 避免自動偵測失誤。