MongoDB 數據存儲與雙向數據采集架構解析

需求描述

• 單值型數據存入 history 表：item_id, resource_id, clock_time, collect_value。
• 列表型數據存入對應 entry 表。
• 主動通知數據也存入 MongoDB。
• 單值/列表采集作為 Client 向其他服務器發起請求並處理響應。
• 主動通知接口作為 Server 提供服務供其他 Client 調用。

架構釐清

這是一個典型的雙角色節點架構：

1. 采集客戶端角色：定時/觸發向外部數據源發起 HTTP/TCP 請求，解析響應寫入 MongoDB。
2. 通知服務端角色：暴露 HTTP 接口（如 /agent），接收外部系統推送的實時數據，寫入 MongoDB。
3. 存儲層：MongoDB 兩類集合（單值 history、列表 entry_*），按時間分片/索引優化查詢。

接口設計示例

// 主動通知接口（Server 端）
POST /agent/notify
Content-Type: application/json
{
  "item_id": "cpu_usage",
  "resource_id": "server_01",
  "clock_time": 1700000000,
  "collect_value": 85.5
}

// 采集任務配置（Client 端）
{
  "task_id": "collect_cpu",
  "target_url": "https://192.168.1.100/api/metrics",
  "method": "GET",
  "interval_sec": 60,
  "parser": "json_path:$.cpu.usage"
}

關鍵技術點

• MongoDB 寫入優化：批量 insertMany、有序/無序寫入、寫關注級別。
• 客戶端重試與熔斷：指數退避、Hystrix/Resilience4j 模式。
• 服務端高可用：無狀態水平擴展、Nginx 負載均衡、健康檢查。
• 數據一致性：單值數據冪寫入（upsert），列表數據去重。

理解雙角色職責分離，是設計穩健監控采集系統的關鍵。