Hibernate 大數據量批量處理效能優化實戰總結

核心痛點

Hibernate 方便但若直接用於大數據量 (萬筆以上) 批量增刪改查，極易出現 OOM、執行緒卡頓、SQL 暴增等問題。以下是實戰驗證的優化要點。

1. Session 管理：適時 flush() 與 clear()

一級快取會累積所有持久化物件，導致記憶體飆升。批量處理時每累積一定筆數 (如 50~100) 呼叫一次：

session.flush();
session.clear(); // 清空一級快取，釋放記憶體

2. 查詢策略選擇

ScrollableResults results = query.scroll(ScrollMode.FORWARD_ONLY);
while (results.next()) {
    Entity e = (Entity) results.get(0);
    // 處理 e
}
results.close();

3. 關聯映射：慎用、簡化、延遲載入

• 深層關聯 (多層 one-to-many) 會產生驚人的 SQL 數量。
• 預設 fetch="select" 易觸發 N+1 問題；在映射檔或 HQL 中按需指定 fetch="join" 或 left join fetch。
• 集合屬性預設 lazy="true"，勿隨意改為 false。

4. 批量 INSERT/UPDATE/DELETE 關鍵參數

在 hibernate.cfg.xml 或 application.properties 設定：

hibernate.jdbc.batch_size=50
hibernate.jdbc.fetch_size=50
hibernate.order_inserts=true
hibernate.order_updates=true
hibernate.generate_statistics=false

• batch_size：啟用 JDBC 批次處理，效能提升可達 5-10 倍 (實測刪除 1 萬筆：無批次 25 秒 → 批次 50 只要 5 秒)。
• fetch_size：結果集分批抓取，減少記憶體壓力 (Oracle 有效，MySQL 驅動預設全抓)。
• order_inserts/updates：將相同 SQL 分組，進一步提升批次效率。

5. 利用二級快取與查詢快取

• 唯讀/讀多寫少的參考資料 (字典表、配置表) 必須開啟二級快取 (Ehcache/Redis)。
• 查詢快取 (query.setCacheable(true)) 需搭配二級快取，命中率高時極其有效。

6. 原生 SQL / Spring JDBC 處理極大批量

對於幾十萬筆以上的批次匯入、清洗，Hibernate 並非最佳選擇。建議：

• 使用 session.doWork(connection -> { ... }) 直接操作 JDBC PreparedStatement.addBatch()。
• 或交給 Spring JdbcTemplate.batchUpdate() 處理。
• 必要時用資料庫原生工具 (LOAD DATA INFILE, COPY)。

7. 事務邊界控制

大批量業務建議 手動控制 Session 與事務，避免單一事務過大導致鎖爭用與回滾成本高：

Session session = sessionFactory.openSession();
Transaction tx = null;
try {
    tx = session.beginTransaction();
    for (int i = 0; i < total; i++) {
        session.save(entity);
        if (i % 50 == 0) { session.flush(); session.clear(); }
    }
    tx.commit();
} catch (Exception e) {
    if (tx != null) tx.rollback();
    throw e;
} finally {
    session.close();
}

總結清單

1. ✅ 設定 hibernate.jdbc.batch_size=50 (或更大)
2. ✅ 批量迴圈中每 50~100 筆 flush() + clear()
3. ✅ 大量查詢用 scroll() 替代 list()
4. ✅ 關聯映射預設延遲載入，按需 join fetch
5. ✅ 唯讀資料開啟二級快取
6. ✅ 超大批量改用 JDBC batch / 資料庫原生工具
7. ✅ 開發階段開啟 show_sql=true 觀察實際 SQL