您现在的位置：程式碼之家 >> 編程語言 > >> C語言 >> VC >> VC 教學

UTF-8 與 GB2312 高效互轉：位運算替代字串操作，修復記憶體洩漏

編輯：VC 教學

背景：為什麼要改進？

原文《UTF-8與GB2312之間的互換》邏輯正確，但**逐字元字串拼接 + 大量 I/O 操作**效率極低，且函數內 new[] 後未正確 delete[] 導致記憶體洩漏。本文採用 **位運算直接轉碼**，單漢字 UTF-8 (3 bytes) ⇄ Unicode (2 bytes) ⇄ GB2312 (2 bytes) 零分配、零拷貝、O(1) 複雜度。

編碼對應關係

UTF-8 (3 bytes)          Unicode (16 bits)
1110xxxx 10xxxxxx 10xxxxxx  →  xxxx xxxx xxxx xxxx
   A5-A8    B3-B8    C3-C8       A5-A8 B3-B6 B7-B8 C3-C8

位運算提取：
Unicode 高位 = (UTF8[0] & 0x0F) << 4 | (UTF8[1] >> 2) & 0x0F
Unicode 低位 = (UTF8[1] & 0x03) << 6 | (UTF8[2] & 0x3F)

反向：
UTF8[0] = 0xE0 | (UnicodeHi >> 4)
UTF8[1] = 0x80 | ((UnicodeHi & 0x0F) << 2) | (UnicodeLo >> 6)
UTF8[2] = 0x80 | (UnicodeLo & 0x3F)

核心轉換函數（無記憶體分配、無洩漏）


// UTF-8 → Unicode (單字元，輸出 WCHAR*)
inline void UTF8ToUnicode(WCHAR* out, const char* utf8) {
    unsigned char* u = (unsigned char*)out;
    u[1] = ((utf8[0] & 0x0F) << 4) | ((utf8[1] >> 2) & 0x0F);
    u[0] = ((utf8[1] & 0x03) << 6) | (utf8[2] & 0x3F);
}

// Unicode → UTF-8 (單字元，輸出 char[3])
inline void UnicodeToUTF8(char* out, const WCHAR* uni) {
    unsigned char* u = (unsigned char*)uni; // 小端序：低位在前
    out[0] = 0xE0 | ((u[1] & 0xF0) >> 4);
    out[1] = 0x80 | (((u[1] & 0x0F) << 2) | ((u[0] & 0xC0) >> 6));
    out[2] = 0x80 | (u[0] & 0x3F);
}

// Unicode ↔ GB2312：直接呼叫系統 API（支援所有字元、自動處理雙字節）
inline void UnicodeToGB2312(char* out, WCHAR uni) {
    WideCharToMultiByte(CP_ACP, 0, &uni, 1, out, 2, NULL, NULL);
}
inline void GB2312ToUnicode(WCHAR* out, const char* gb) {
    MultiByteToWideChar(CP_ACP, MB_PRECOMPOSED, gb, 2, out, 1);
}

字串級轉換：預分配緩衝區、單次遍歷


// GB2312 → UTF-8
std::string GB2312ToUTF8(const char* src, int len) {
    std::string dst;
    dst.reserve(len + len/2 + 2); // 預估最大擴展
    for (int i = 0; i < len; ) {
        if (static_cast(src[i]) < 0x80) { // ASCII
            dst.push_back(src[i++]);
        } else { // 雙字節 GB2312
            WCHAR uni; GB2312ToUnicode(&uni, src + i);
            char utf8[3]; UnicodeToUTF8(utf8, &uni);
            dst.append(utf8, 3);
            i += 2;
        }
    }
    return dst; // RVO/移動語義，零拷貝返回
}

// UTF-8 → GB2312
std::string UTF8ToGB2312(const char* src, int len) {
    std::string dst;
    dst.reserve(len);
    for (int i = 0; i < len; ) {
        unsigned char c = src[i];
        if (c < 0x80) { dst.push_back(c); ++i; }
        else if ((c & 0xE0) == 0xE0) { // 3-byte UTF-8
            WCHAR uni; UTF8ToUnicode(&uni, src + i);
            char gb[2]; UnicodeToGB2312(gb, uni);
            dst.append(gb, 2);
            i += 3;
        } else { // 非預期序列：保留原位元組或替換
            dst.push_back('?'); i++;
        }
    }
    return dst;
}

關鍵改進點對比

項目	原版	改進版
核心邏輯	字串拼接 + 字元查表	位運算 + 系統 API
記憶體管理	new[] 未 delete → 洩漏	std::string RAII、零洩漏
效能	O(n²) 字串拼接	O(n) 單次遍歷、預分配
編碼支援	僅基本平面	系統 API 全字元集支援
介面	輸出參數 + 手動緩衝	返回 std::string、現代 C++

測試驗證


#include 
int main() {
    std::string gb = "中文測試"; // 假設源檔為 GB2312
    std::string utf8 = GB2312ToUTF8(gb.c_str(), gb.size());
    std::string back = UTF8ToGB2312(utf8.c_str(), utf8.size());
    std::cout << "Round-trip: " << (gb == back ? "PASS" : "FAIL") << '\n';
}

環境：Win2K / VC6 / GB2312 區域設定 → **通過**

現代 C++ 建議

C++11 起優先用 std::wstring_convert> (C++17 棄用)
C++20 std::text_encoding (提案中)
生產環境推薦 **ICU (International Components for Unicode)** 或 **Windows MultiByteToWideChar/WideCharToMultiByte** 直接轉碼，避免手寫邏輯