Spark Project Tungsten 读书笔记：三大核心优化直逼裸金属性能

Spark Project Tungsten 读书笔记

Tungsten 计划旨在「Bringing Apache Spark closer to Bare Metal」，通过内存管理、缓存感知计算、代码生成三大支柱，消除 JVM 开销，充分榨取 CPU、内存、IO、网络硬件性能。

三大核心动作

关键技术细节

Unsafe 内存管理

• 显式分配/释放内存（allocateMemory/freeMemory），避免 GC 停顿
• 以字节数组形式存储数据，按列式/行式布局，支持零拷贝序列化
• Spark 1.4/1.5 引入 unsafe-heap 与 unsafe-offheap 两种模式

缓存感知排序

• 利用 CPU 预取、缓存行对齐、分支预测友好的数据布局
• 具体如何提升命中率原文未展开，后续需阅读 UnsafeExternalSorter 源码

代码生成：向量化执行

• 传统 Volcano 模型：逐行迭代器调用，虚函数开销大、分支预测失效
• Tungsten：生成处理整列数据的紧凑循环，利用 SIMD 指令、消除虚调用
• 表达式求值直接内联到循环体，JIT 编译器可深度优化

参考资料

• Databricks 官方博客：Project Tungsten: Bringing Spark Closer to Bare Metal
• StackOverflow：Understanding Spark Physical Plan

后续深入方向

1. 阅读 org.apache.spark.sql.execution.UnsafeExternalSorter 理解缓存感知排序
2. 分析 org.apache.spark.sql.catalyst.expressions.codegen.CodeGenerator 代码生成逻辑
3. 对比 Tungsten 与 Spark 3.0+ Adaptive Query Execution 的协同关系