您现在的位置：程式碼之家 >> 編程語言 > >> C語言 >> VC >> 關於VC++

完成端口實戰：開發大規模高併發 Winsock 應用程式架構指南

編輯：關於VC++

前言：從「能跑」到「能扛」的關鍵躍遷

寫網路程式入門易 (建 Socket、Connect、收發)，但支撐「少則一個、多則數千個」並發連線的穩定架構才是真正挑戰。本文聚焦 Windows NT/2000 平台，基於 Winsock 2 的完成端口機制，構建高擴展性伺服器架構。核心原則同樣適用於客戶端。

API 與擴展性：為何選擇完成端口？

重疊 I/O：發起操作即返回，背景完成，執行緒可處理其他工作，完成時收到通知。適合耗時操作。
傳統模型缺陷：WSAAsyncSelect()、Unix select() 易用但無法滿足大規模擴展需求。
完成端口優勢：作業系統內核優化，真正實現高併發。Windows NT/2000 上唯一可靠的大規模方案。

完成端口核心機制

本質：內核管理的完成通知隊列

重疊 I/O 完成 → 內核將通知放入完成端口隊列 → 工作者執行緒取出處理。Socket 可在任意時刻關聯完成端口。

兩步建立關聯

// 1. 建立完成端口
HANDLE hIocp = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0);

// 2. 將 Socket 關聯至完成端口 (第三參數為 Completion Key，可攜帶上下文)
CreateIoCompletionPort((HANDLE)s, hIocp, (ULONG_PTR)0, 0);

工作者執行緒模型

建立固定數量執行緒 (理想值 = CPU 核心數)。
每執行緒循環呼叫 GetQueuedCompletionStatus() 取得完成通知。
鐵律：工作者執行緒絕不執行阻塞操作 (同步讀寫、等待事件)，否則浪費時間片。若發生阻塞，需預備額外執行緒填補。

追蹤重疊操作：自訂 OVERLAPPED 結構

標準 OVERLAPPED 無法識別操作類型。擴展結構攜帶上下文：

typedef struct _OVERLAPPEDPLUS {
    OVERLAPPED ol;        // 必須為第一成員 (或用 CONTAINING_RECORD)
    SOCKET s, sclient;    // 監聽/客戶 Socket
    int OpCode;           // 操作類型
    WSABUF wbuf;          // 資料緩衝區
    DWORD dwBytes, dwFlags;
    // 其他上下文...
} OVERLAPPEDPLUS;

#define OP_READ  0
#define OP_WRITE 1
#define OP_ACCEPT 2

發起操作時填充 OpCode，完成時透過 CONTAINING_RECORD 取回完整上下文。

工作者執行緒核心邏輯

DWORD WINAPI WorkerThread(LPVOID) {
    ULONG_PTR PerHandleKey;
    OVERLAPPED* Overlap;
    OVERLAPPEDPLUS* OverlapPlus;
    DWORD dwBytesXfered;

    while (1) {
        BOOL ret = GetQueuedCompletionStatus(hIocp, &dwBytesXfered,
            (PULONG_PTR)&PerHandleKey, &Overlap, INFINITE);
        if (!ret) continue; // 操作失敗

        OverlapPlus = CONTAINING_RECORD(Overlap, OVERLAPPEDPLUS, ol);

        switch (OverlapPlus->OpCode) {
        case OP_ACCEPT: {
            // 客戶 Socket 在 OverlapPlus->sclient
            CreateIoCompletionPort((HANDLE)OverlapPlus->sclient, hIocp, 0, 0);
            // 分配新 OVERLAPPEDPLUS 發起讀取
            OVERLAPPEDPLUS* newolp = AllocateOverlappedPlus();
            newolp->s = OverlapPlus->sclient;
            newolp->OpCode = OP_READ;
            PrepareSendBuffer(&newolp->wbuf);
            WSASend(newolp->s, &newolp->wbuf, 1, &newolp->dwBytes, 0, &newolp->ol, NULL);
            FreeOverlappedPlus(OverlapPlus);
            SetEvent(hAcceptThread); // 通知 Accept 執行緒繼續
            break;
        }
        case OP_READ: {
            // 處理接收資料...
            // 重新投遞讀取
            memset(&OverlapPlus->ol, 0, sizeof(OVERLAPPED));
            WSARecv(OverlapPlus->s, &OverlapPlus->wbuf, 1, &OverlapPlus->dwBytes,
                &OverlapPlus->dwFlags, &OverlapPlus->ol, NULL);
            break;
        }
        case OP_WRITE: {
            // 處理發送完成...
            break;
        }
        }
    }
}

Windows NT/2000 Socket 架構洞察

Winsock 架構圖

傳輸協定不直接提供 Socket 介面，採用 TDI (Transport Driver Interface) 底層 API。
AFD.SYS (Ancillary Function Driver) 核心模式驅動實作 Socket 模擬、連線與緩衝區管理。
應用層 send/WSASend → AFD 內部發送緩衝區 (受 SO_SNDBUF 限制) → 立即返回 → 後台發送。
接收端同理：AFD 內部接收緩衝區 (SO_RCVBUF) → 應用 recv/WSARecv 拷貝到用戶緩衝區。

緩衝區管理策略

勿輕易關閉 AFD 內部緩衝區 (SO_SNDBUF/SO_RCVBUF = 0)：會鎖定用戶緩衝區頁面、導致系統資源耗盡、效能反降。
高效模式：維持多個 WSARecv 掛載，確保 AFD 總有用戶緩衝區可用，內部緩衝區自然閒置。
發送端：高效能伺服器可關閉發送緩衝區，但必須保持多個重疊發送掛載，避免傳輸層空檔。

資源限制與防禦性設計

資源	限制	應對策略
網路頻寬	物理上限	流控、背壓、優先級隊列
虛擬記憶體	系統分頁檔	Lookaside Lists 重用記憶體；`SetWorkingSetSize` 鎖定工作集
鎖定頁面 (Non-paged Pool)	~ 物理記憶體 1/8	限制並發重疊操作數；緩衝區對齊頁邊界避免額外鎖頁
非分頁池	系統固定配額	保守估算連線數；監控 `ERROR_INSUFFICIENT_RESOURCES`；優雅降級關閉部分連線

核心原則：不計算精確配額 (版本差異大)，而是保守設計、監控錯誤碼、優雅退避。

AcceptEx：高效連線接受

唯一重疊接受 API，需預先建立 Socket (不綁定/連線) 作為參數。
循環投遞足夠數量的 AcceptEx 守候連線。
安全隱患：傳遞 lpOutputBuffer 可同時接收首包資料，但若客戶只連不發，會佔用 Accept 槽位 → DoS 攻擊向量。
防禦：定期輪詢 getsockopt(SO_CONNECT_TIME)，連線建立超時無資料則關閉 Socket。
專用執行緒：Accept 執行緒分離，避免阻塞工作者執行緒。
動態獲取函數指標：WSAIoctl(SIO_GET_EXTENSION_FUNCTION_POINTER) 獲取 AcceptEx 等 Microsoft 特有擴展函數指標，避免每次調用內部 WSAIoctl 開銷。

TransmitFile / TransmitPackets：零拷貝傳輸利器

TransmitFile：單次調用發送整個檔案，僅兩次模式切換 (CreateFile + TransmitFile)，遠優於 ReadFile+WSASend 循環。
TransmitPackets (Win2000+)：單次調用發送多個檔案/記憶體緩衝區組合，支援 TF_REUSE_SOCKET 重用 Socket 回 AcceptEx 池。
限制：Workstation/Professional 版每進程僅 2 個並發；Server 版完全支援。