實現高性能 Java 解析器：索引疊加架構設計與 JSON 實戰

當現有解析器無法滿足性能、內存、功能需求時，自研高性能解析器是關鍵選項。本文介紹受 VTD-XML 啟發的「索引疊加」架構，通過 JSON 解析器實戰展示設計細節、基準測試與優化策略。

兩大解析器範式對比

索引疊加架構核心思想

不構建對象樹，而是在原始數據緩衝區上構建索引層：

原始數據緩衝區 (byte[]/char[])  ← 唯一數據副本
        ↑
索引緩衝區 (int[] position, int[] length, byte[] type)  ← 輕量元素描述符
        ↑
元素導航器 (語義級 API)  ← 開發者交互介面

優勢

• 零對象創建： 解析階段無對象分配，GC 壓力極低
• 內存緊湊： 每元素約 9 字節 (位置4+長度4+類型1)，遠小於 DOM 節點對象
• 隨機訪問： 支持 XPath 風格查詢、回溯、多輪分析
• 解碼延遲： 僅在提取時按需 UTF-8→UTF-16 轉換

三階段流水線設計

1. 分詞器： 掃描原始數據 → 產出 Token (位置、長度、類型)
2. 解析器： 消費 Token → 語義分析 → 產出 Element 索引 (位置、長度、語義類型)
3. 導航器： 封裝 Element 索引 → 提供語義 API (next(), asString(), countArrayElements())

JSON 解析器實戰關鍵代碼

分詞器核心循環

void parseToken() {
    skipWhitespace();
    tokenPos[tokenIdx] = dataPos;
    switch (data[dataPos]) {
        case '{': type[tokenIdx] = T_LEFT_BRACE; tokenLen[tokenIdx] = 1; break;
        case '}': type[tokenIdx] = T_RIGHT_BRACE; tokenLen[tokenIdx] = 1; break;
        case '"': parseStringToken(); break;  // 處理轉義、Unicode
        case '0'...'9': parseNumberToken(); break;
        case 't': if (parseTrue()) type[tokenIdx] = T_BOOLEAN; break;
        case 'f': if (parseFalse()) type[tokenIdx] = T_BOOLEAN; break;
        case 'n': if (parseNull()) type[tokenIdx] = T_NULL; break;
        // ...
    }
    tokenIdx++;
}

解析器遞歸下降

void parseObject() {
    expect(T_LEFT_BRACE);
    addElement(E_OBJ_START);
    while (currentToken() != T_RIGHT_BRACE) {
        expect(T_STRING); addElement(E_PROP_NAME);
        expect(T_COLON);
        switch (currentToken()) {
            case T_STRING: parseStringValue(); break;
            case T_NUMBER: addElement(E_PROP_VAL_NUM); break;
            case T_LEFT_BRACE: parseObject(); break;  // 遞歸嵌套對象
            case T_LEFT_BRACKET: parseArray(); break;
        }
        if (currentToken() == T_COMMA) nextToken();
    }
    expect(T_RIGHT_BRACE);
    addElement(E_OBJ_END);
}

導航器優化 API 設計

// 快速字段名比較：無需創建 String 對象
if (navigator.isEqualUnencoded("userId")) { ... }

// 基本類型數組元素計數：預分配精確大小數組
int[] ids = new int[navigator.countPrimitiveArrayElements()];
for (int i = 0; i < ids.length; i++) {
    ids[i] = navigator.asInt();
    navigator.next();
}

// Rope 字符串視圖：零拷貝字符串操作
Rope rope = navigator.asRope(); // {char[] ref, offset, length}

基準測試：對比 Gson (流式/樹模型/反射)

性能優勢根因分析

1. 零中間對象： Gson 流式也需創建 String/Integer 等包裝對象
2. 按需提取： 只解析訪問的字段，Gson 全量遍歷
3. 零拷貝比較： 直接比較原始緩衝區字符
4. 數組預分配： 避免 List 擴容、裝箱、拆箱三重開銷
5. 合併分詞/解析： JsonParser2 單通道掃描，減少緩衝區交互

工程權衡與最佳實踐

總結

索引疊加架構通過「數據不動、索引走位」實現極致性能。核心洞見：解析器不應創建對象樹，而應創建數據地圖。此模式已在 VTD-XML、simdjson、Pikkr 等高性能解析器中驗證，值得在性能敏感場景採用。