Spark RDD 求每時段平均分數：PairRDD + aggregateByKey 最佳實踐

問題場景

RDD 元素格式為 (時段, 分數, 次數)，需計算每個時段的平均分數 = 總分數 / 總次數。

推薦解法：PairRDD + aggregateByKey

// 假設原始 RDD: rdd[(String, Double, Long)]
val pairRDD = rdd.map { case (period, score, count) => (period, (score, count)) }

// 使用 aggregateByKey 進行分組聚合
// 零值: (0.0, 0L) 代表 (總分數, 總次數)
// seqOp: 在分區內累加 (sumScore, sumCount)
// combOp: 跨分區合併
val aggregated = pairRDD.aggregateByKey((0.0, 0L))(
  (acc, v) => (acc._1 + v._1, acc._2 + v._2),  // seqOp
  (acc1, acc2) => (acc1._1 + acc2._1, acc1._2 + acc2._2) // combOp
)

// 計算平均
val averages = aggregated.mapValues { case (sumScore, sumCount) => sumScore / sumCount }

核心優勢

• 單次 Shuffle：僅需一次分組聚合，避免雙 RDD Join 的雙重 Shuffle。
• 記憶體效率：聚合過程中僅保留累加器，不收集明細資料。
• 型別安全：Scala 元組與案例類提供編譯期檢查。

替代方案比較

注意事項

• 若資料傾斜嚴重，可考慮 salting 或自訂 Partitioner。
• 結果較小時可 collect() 回 Driver，大結果應寫入分散式儲存。