Spark on YARN 提交任務報錯「Input path does not exist」：HDFS 路徑配置排查指南

Spark on YARN 任務提交失敗：輸入路徑不存在異常全流程排查

錯誤堆棧核心信息

Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: 
Input path does not exist: hdfs://mycluster-tj/user/engine_arch/data/mllib/sample_libsvm_data.txt

根因分析

核心原因：YARN 集群模式下，Spark 任務在分布式節點運行，無法訪問本地文件系統，必須讀取 HDFS 或其他分布式存儲上的數據。

• Local/Standalone 模式：Driver 與 Executor 同機，可直接讀取本地路徑（如 file:///data/xxx.txt）
• YARN Cluster 模式：Executor 分佈在各 NodeManager，只能訪問共享存儲（HDFS、S3、NFS 等）

解決方案

方案一：上傳數據至 HDFS（推薦）

# 1. 上傳本地文件到 HDFS
hdfs dfs -mkdir -p /user/engine_arch/data/mllib/
hdfs dfs -put sample_libsvm_data.txt /user/engine_arch/data/mllib/

# 2. 代碼中使用 HDFS 路徑
val data = spark.read.format("libsvm")
  .load("hdfs://mycluster-tj/user/engine_arch/data/mllib/sample_libsvm_data.txt")

方案二：使用 --files 分發小文件（適用於配置文件、小數據集）

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --files /local/path/sample_libsvm_data.txt \
  --class com.example.Main \
  app.jar

# 代碼中通過 SparkFiles.get() 獲取
import org.apache.spark.SparkFiles
val path = SparkFiles.get("sample_libsvm_data.txt")

方案三：統一使用分布式存儲路徑

生產環境建議統一使用 HDFS/S3 路徑，避免環境差異導致問題：

// 配置文件中統一管理
spark.data.path=hdfs://nameservice1/user/app/data/

// 代碼讀取配置
val dataPath = spark.conf.get("spark.data.path")
val df = spark.read.parquet(dataPath + "table_name")