Spark WordCount 運行報錯「All masters are unresponsive」：集群連通性排查清單

錯誤日誌關鍵信息

WARN TaskSchedulerImpl: Initial job has not accepted any resources;
ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive!

核心原因

Driver 無法與 Master 建立心跳/註冊，常見於：

1. spark-env.sh 未配置 SPARK_MASTER_IP 或配置錯誤（需填 Master 節點**可解析的主機名或 IP**）。
2. /etc/hosts 缺少主機名映射，導致 Driver 解析 Master 失敗。
3. 網絡防火牆阻攔 7077（Master RPC）、8080（Web UI）、隨機埠（Executor 通信）。
4. Master 進程未啟動或崩潰（查看 Master 日誌 spark-*-org.apache.spark.deploy.master.Master-*.out）。

排查步驟

1. Master 節點執行 jps 確認 Master 進程存在。
2. Driver 節點 telnet master_host 7077 測試端口連通性。
3. 檢查 conf/spark-env.sh：export SPARK_MASTER_IP=master_hostname。
4. 所有節點 /etc/hosts 互相映射主機名。
5. 暫停防火牆 systemctl stop firewalld 測試。|