大型分布式系統架構深度剖析：從網絡分層到一致性哈希實戰

大型分布式系統架構深度剖析

本文基於一個全國性高並發通信平台的實戰經驗，系統闡述面向企業級的分布式架構設計。系統採用 Maven、SpringMVC、MyBatis、Shiro、Druid、Dubbo、ZooKeeper、Redis、FastDFS、ActiveMQ 等技術棧，核心目標滿足海量數據存儲、請求分布式調度、多節點部署與雙重熱備切換四大核心需求。

一、整體網絡架構：四層分流模型

系統採用四層節點架構，每層均可水平擴展：

1. 接口服務器

• 對外提供 HTTP 訪問入口，內置 HTTP Server。
• 監控 Dispatcher 節點健康狀態。
• 基於輪詢或隨機算法將請求轉發至最優 Dispatcher。

2. 消息分發服務器

• 接收接口層請求，解析特徵參數（如用戶 ID）。
• 採用一致性哈希（JDK String hash 改良）計算目標 App Server 群組。
• 群組內再以輪詢選擇具體節點，實現請求精準路由與負載均衡。

3. 應用服務器

• 純業務邏輯執行層，無分布式狀態，數據本地化。
• 按邏輯分組，組內負載均衡。
• 採用多數據庫「單讀多寫」策略：讀請求路由至最優庫，寫請求同步多庫並保證事務性。

4. 數據庫服務器

• 提供數據訪問，非事務型數據庫由 App 層輔助保證一致性。

二、分布式路由算法實現

接口層：帶故障檢測的輪詢

public String getTargetServerIp() {
    String[] ips = getTargetServerIps();
    int[] ids = getTargetServerIds();
    int index = currentTargetServerIndex;
    boolean working = false;
    while (!working) {
        index = (currentTargetServerIndex + 1) % ids.length;
        working = isServerWorking(index);
        if (!working && index == currentTargetServerIndex) return "0:0"; // 全不可用
    }
    currentTargetServerIndex = index;
    return ips[index];
}

分發層：基於特徵參數的一致性哈希

public int getTargetServerGroupIndexByHash(String param) {
    byte[] bytes = param.getBytes(StandardCharsets.UTF_8);
    int hash = 0;
    for (byte b : bytes) hash = 31 * hash + b; // JDK String.hashCode()
    int frameCount = 2; // 群組數
    int step = 100 / frameCount;
    int h = Math.abs(hash % 100);
    for (int i = 0, begin = 0, end = step; i < frameCount; i++) {
        if (begin <= h && h < end) return 2 * i;
        begin = end;
        end += step;
    }
    return 2 * (frameCount - 1);
}

群組內再調用輪詢邏輯選擇具體節點，實現「同一用戶請求固定落在同一群組，群組內均衡分發」。

三、通信節點模型：異步非阻塞 NIO

Client/Server 統一採用「構建-隊列-發送/接收-處理」管道：

• Client 端：RequestBuilder → RequestQueue → 專用線程 RequestScanner 調用 RequestSender 發送。支援多隊列、優先級策略。
• Server 端：RequestAccepter 接收入隊 → 工作線程池調用 RequestHandler 處理 → 返回 Response。

通信協議基於 Java NIO Socket，遵循兩大原則：

1. 服務端線程數可控，不與請求數線性增長。
2. 接收與處理解耦，避免吞吐率下降。

四、架構優勢與擴展

• 無狀態水平擴展：各層節點無狀態，可任意增減。
• 故障自愈：健康檢查 + 輪詢/哈希路由自動剔除故障節點。
• 數據一致性：雙寫 + 讀優選策略，配合分布式事務中間件可進一步強化。

後續將介紹基於 Linux 的高可用集群部署實戰（Keepalived、LVS、ZooKeeper 選主等）。