Spark RDD 分區重組：coalesce 與 repartition 核心差異與選型指南

Spark RDD 分區重組：coalesce 與 repartition 核心差異與選型指南

在 Spark 作業優化中，合理控制 RDD 分區數直接影響並行度、Shuffle 開銷與輸出文件數。coalesce 與 repartition 是兩大核心 API，本文從源碼層面剖析其實現差異，並提供場景化選型建議。

核心結論速查表

源碼深度解析

coalesce 實現邏輯

def coalesce(numPartitions: Int, shuffle: Boolean = false): RDD[T] = {
  if (shuffle) {
    // 經過 HashPartitioner 重新分佈，產生 ShuffledRDD → CoalescedRDD
    new CoalescedRDD(
      new ShuffledRDD[Int, T, T](
        mapPartitionsWithIndex(distributePartition), 
        new HashPartitioner(numPartitions)
      ), 
      numPartitions
    ).values
  } else {
    // 窄依賴：直接合併分區，父分區 1:N 映射到子分區
    new CoalescedRDD(this, numPartitions)
  }
}

關鍵點：

• shuffle=false 時，採用 窄依賴，父分區只被少數子分區引用，無網絡傳輸
• 分區合併算法：從隨機起始分區輪詢分配，盡量均勻但不保證數據平衡
• 極端縮減（如 1000→1）易導致單 Task OOM，需開啟 shuffle=true

repartition 實現

def repartition(numPartitions: Int): RDD[T] = 
  coalesce(numPartitions, shuffle = true)

本質是 強制全量 Shuffle，經 HashPartitioner 按鍵值重新分佈，保證數據均勻但代價高昂。

依賴類型對調度的影響

窄依賴 (Narrow)          寬依賴 (Wide)
父分區 → 1 子分區        父分區 → 多子分區
Map, Filter, coalesce    Join, GroupBy, repartition
Pipeline 執行            Stage 邊界，需 Shuffle Write/Read

coalesce(shuffle=false) 保持窄依賴，Task 可鏈式執行；repartition 強制切分 Stage，產生 Shuffle 文件。

實戰避坑指南

場景 1：Filter 後分區嚴重不均（1000 分區 → 10 有效分區）

// ✅ 推薦：無 Shuffle 合併，保持窄依賴
val optimized = filteredRDD.coalesce(10, shuffle = false)

// ❌ 避免：觸發不必要的全量 Shuffle
val bad = filteredRDD.repartition(10)

場景 2：需增加分區提升並行度（100 → 1000）

// ✅ 必須開啟 Shuffle
val expanded = rdd.coalesce(1000, shuffle = true)
// 或等價寫法
val expanded = rdd.repartition(1000)

場景 3：極端縮減分區（5000 → 5）導致 OOM

Exception: Unable to acquire 16777216 bytes of memory
at UnsafeExternalSorter.acquireNewPage...

解決： 強制 shuffle=true，將數據重新分佈到多個 Executor，避免單 Task 內存壓力：

val safe = hugeRDD.coalesce(5, shuffle = true)

場景 4：輸出文件數控制

// 寫入 HDFS/S3 前合併小文件
df.coalesce(100).write.parquet("/output")  // 生成 100 個文件

性能調優建議

• 優先 coalesce(shuffle=false) 減少分區，零網絡開銷
• 數據傾斜時 必須 repartition 或 coalesce(shuffle=true) 打散熱點
• 監控指標：Spark UI 中觀察 Shuffle Read/Write、Task 時間分佈、GC 時間
• 動態分配：啟用 spark.dynamicAllocation.enabled=true 配合 coalesce 自動縮容

核心原則：能不 Shuffle 就不 Shuffle。coalesce 是精準手術刀，repartition 是重組核彈——按業務場景精準選擇。