Jemalloc 優化 MySQL 與 Nginx 內存分配性能實戰指南

為什麼選 Jemalloc？

Jemalloc (Jason Evans, 2006) 專為多線程並發設計，解決 glibc malloc 在多核下的鎖爭用瓶頸。核心優勢：

• 多 Arena 隔離：每個 CPU 核心綁定獨立 Arena，減少跨核鎖競爭。
• 分級分配：Small (≤ 32KB) / Large (> 32KB) 分離管理，減少碎片。
• 統計分析：內建 `mallctl`/`jemalloc_pprof` 支持 Heap Profiling、Leak Detection。
• 生產驗證：Facebook、Redis、Firefox、FreeBSD 默認分配器；Redis 2.4+、Tengine 內置集成。

基準測試顯示：多線程分配吞吐較 glibc malloc 提升 2-3 倍，延遲抖動顯著降低。

安裝 Jemalloc

# 源碼編譯安裝 (推薦指定版本)
wget https://github.com/jemalloc/jemalloc/releases/download/5.3.0/jemalloc-5.3.0.tar.bz2
tar xjf jemalloc-5.3.0.tar.bz2
cd jemalloc-5.3.0
./configure --prefix=/usr/local/jemalloc
make && make install

# 生效動態庫路徑
echo "/usr/local/jemalloc/lib" > /etc/ld.so.conf.d/jemalloc.conf
ldconfig

優化 MySQL：兩種加載方式

方式一：編譯安裝 MySQL 時鏈接 (推薦，性能最優)

cmake ... \
  -DCMAKE_EXE_LINKER_FLAGS="-ljemalloc" \
  -DWITH_SAFEMALLOC=OFF \
  ... 其他參數
make && make install

原理：MySQL 啟動時直接鏈接 jemalloc 符號，所有內存分配 (InnoDB Buffer Pool、Sort Buffer、Join Buffer 等) 走 jemalloc 路徑，零開銷。

方式二：運行時預載入 (無需重編，適合二進制包/云托管)

# 修改 mysqld_safe 啟動腳本
vim /usr/local/mysql/bin/mysqld_safe
# 在 "executing mysqld_safe" 行前插入：
export LD_PRELOAD=/usr/local/jemalloc/lib/libjemalloc.so

# 或使用 sed 自動修改
sed -i 's@executing mysqld_safe@export LD_PRELOAD=/usr/local/jemalloc/lib/libjemalloc.so\nexecuting mysqld_safe@' /usr/local/mysql/bin/mysqld_safe

# 重啟驗證
systemctl restart mysqld
# 檢查進程是否加載
lsof -p $(pidof mysqld) | grep jemalloc
# 輸出應包含 libjemalloc.so

MySQL 專項配置建議

• innodb_buffer_pool_instances：設置為 CPU 核心數 (≤ 64)，配合 jemalloc Arena 仿射。
• 關閉 innodb_use_sys_malloc (MySQL 5.6+ 已棄用，默認用內部分配器)。
• 監控 jemalloc.stats.arenas.0.pactive 等指標觀察活躍頁數。

優化 Nginx：編譯時鏈接

cd nginx-1.24.0
./configure \
  --prefix=/usr/local/nginx \
  --with-http_ssl_module \
  --with-http_v2_module \
  --with-http_realip_module \
  --with-http_stub_status_module \
  --with-ld-opt="-L/usr/local/jemalloc/lib -ljemalloc" \
  --with-cc-opt="-I/usr/local/jemalloc/include"
make && make install

驗證：

# 檢查二進制依賴
ldd /usr/local/nginx/sbin/nginx | grep jemalloc
# 輸出: libjemalloc.so.2 => /usr/local/jemalloc/lib/libjemalloc.so.2

# 運行時檢查 worker 進程
lsof -p $(pgrep -f "nginx: worker") | grep jemalloc

關鍵調優參數 (通过 mallctl / je_malloc_conf 環境變量)

# 環境變量方式 (啟動前 export)
export MALLOC_CONF="background_thread:true,metadata_thp:auto,dirty_decay_ms:10000,muzzy_decay_ms:10000"

# 關鍵選項解釋
background_thread:true        # 後台線程异步清理 dirty page，降低延遲抖動
metadata_thp:auto             # 元數據使用透明大頁 (需內核支持)
dirty_decay_ms:10000          # Dirty page 10s 後釋放回 OS (默認 10s)
muzzy_decay_ms:10000          # Muzzy page 同理
narenas:           # 顯式指定 Arena 數量，避免過多
percpu_arena:percpu           # 每核綁定 Arena (Linux 4.4+)

效果驗證與監控

1. 系統層面：top/pidstat 觀察 CPU 系統時間 (sy%) 下降、上下文切換減少。
2. 應用層面：MySQL QPS 提升 10-30%、Nginx 請求延遲 P99 降低 20%+ (視業務負載)。
3. Jemalloc 統計：

# 導出統計
mallctl --help
# 程序化讀取 (C/C++/Go/Rust 綁定) 導出 stats.arenas..pactive, stats.allocated, stats.resident 等
# 定期抓取寫入 Prometheus，Grafana 看板