Redis Sorted Set (ZSET) 實戰筆記：從 3000 萬行 MySQL 取 Top 10 熱門路徑

業務場景

MySQL 表 summary_data 約 3000 萬行，欄位 first_path VARCHAR(256)，需找出現次數最多的 Top 10 路徑。

方案一：純 SQL（9 分鐘）

SELECT first_path, COUNT(*) AS c
FROM summary_data
GROUP BY first_path
ORDER BY c DESC LIMIT 10;

EXPLAIN 顯示 type=ALL、Using temporary; Using filesort，索引 first_path(255) 前綴過長導致失效，全表掃描 + 磁碟排序極慢。

方案二：Linux Sort + Uniq（1.5 分鐘）

# 導出 first_path（耗時較長）
SELECT first_path FROM summary_data INTO OUTFILE '/tmp/first_path.txt';

# 管道處理
sort /tmp/first_path.txt | uniq -c | sort -nr | head -10

外部排序優化極佳，記憶體不足自動落盤歸併，單線程 1.5 分鐘完成。

方案三：Redis Sorted Set（16 分鐘，待優化）

資料結構

• ZSET = Skip List + Hash Table 混合體。
• 元素 = first_path 字串，Score = 出現次數 (double)。
• ZINCRBY key 1 member 原子遞增，自動維護有序。O(log N)。

C 客戶端實現

/* hiredis 例程 */
FILE *fp = fopen("first_path.txt", "r");
char line[256];
while (fgets(line, sizeof(line), fp)) {
    // 去除換行
    line[strcspn(line, "\r\n")] = 0;
    redisCommand(c, "ZINCRBY zset_firstpath 1 %s", line);
}
fclose(fp);

/* 取 Top 10 */
redisReply *r = redisCommand(c,
    "ZREVRANGEBYSCORE zset_firstpath +inf -inf WITHSCORES LIMIT 0 10");
/* 輸出：
1) path_a  12345
2) path_b  9876
... */

效能分析

• 3000 萬次 ZINCRBY 網路往返 + Skip List 維護 = 16 分鐘，**慢於 Sort/Uniq**。
• Redis 單線程模型，CPU 為瓶頸；管道 pipeline 批量發送可大幅提升（未測試）。
• 記憶體佔用：3000 萬唯一值 × (字串 + 分數 + 指標) ≈ 數 GB，需評估機器容量。

最佳實踐總結

優化建議

1. **管道批量寫入**：redis-cli --pipe < commands.txt 或 hiredis redisAppendCommand 批量提交，減少 RTT。
2. **Lua 腳本原子化**：將讀取+遞增合併為單次 EVAL，減少網路交互。
3. **分片**：多 Redis 實例按 Hash 分片，聚合時合併結果。
4. **MySQL 8.0 並行查詢 / 物化視圖**：若業務允許定時刷新，物化視圖 + 索引可秒級查詢。

ZSET 適合**實時排行榜**（遊戲積分、熱門商品），離線全量統計仍首選 **Sort/Uniq 或 ClickHouse/Druid 等 OLAP 引擎**。

1. 上一篇文章： MySQL InnoDB UTF8MB4 VARCHAR 索引長度限制：767/3072 位元組邊界實測與應對
2. 下一篇文章： MySQL 巧用 ORDER BY 實現文章置頂功能

MySQL 綜合教學

Windows 系統下 MySQL Root 密碼修改四大法：SET PASSWORD、mysqladmin、UPDATE user、緊急重置

Windows 環境 MySQL 修改 Root 密碼四種標

MySQL 統計某欄位各值出現次數：GROUP BY + COUNT(1) 單條 SQL 秒出結果

MySQL 統計某欄位各值出現次數：GROUP BY + C

MySQL GROUP BY 多欄位分組原理與實戰：組合鍵分組邏輯詳解

GROUP BY col1, col2 並非「先按 col1

MySQL LONGTEXT 儲存大型二進位檔案：C/C++ 實作範例與 max_allowed_packet 設定

雖然資料庫儲存大型二進位檔案（圖片、PDF、ISO 映像）非