Spark 環境搭建全攻略：Linux 與 Windows 步驟詳解

選擇作業系統

• 生產/學習推薦 Linux：原生支持 Hadoop 生態、腳本豐富、性能穩定。
• Windows 適合快速體驗：需額外配置 Hadoop 二進制、winutils.exe，易遇路徑/權限坑。

Linux (CentOS/Ubuntu) 搭建步驟

1. 安裝 JDK 8/11：yum install java-1.8.0-openjdk-devel 或 apt install openjdk-11-jdk，配置 JAVA_HOME。
2. 安裝 Scala（可選）：Spark 2.x 需 Scala 2.11/2.12，yum install scala 或解壓二進制包配置 SCALA_HOME。
3. 下載 Spark：官網下載 spark-3.x.x-bin-hadoop3.tgz，解壓至 /opt/spark。
4. 配置環境變量：

   export SPARK_HOME=/opt/spark
   export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
   

5. 配置 Spark：
   • 複製 $SPARK_HOME/conf/spark-env.sh.template → spark-env.sh，設置 JAVA_HOME、SPARK_MASTER_HOST 等。
   • 單機模式可無需修改 spark-defaults.conf。
6. 啟動驗證：

   $SPARK_HOME/sbin/start-master.sh
   $SPARK_HOME/sbin/start-slave.sh spark://`hostname`:7077
   # 訪問 https://localhost:8080 查看 Master UI
   

7. 運行範例：

   spark-submit --class org.apache.spark.examples.SparkPi \
     --master spark://`hostname`:7077 \
     $SPARK_HOME/examples/jars/spark-examples_*.jar 10
   

Windows 搭建要點（僅供本地測試）

1. 安裝 JDK、Scala、Python（PySpark 需）。
2. 下載 Spark Windows 版或通用版，解壓至無空格路徑（如 D:\spark）。
3. **關鍵**：從 winutils 下載對應 Hadoop 版本的 winutils.exe、hadoop.dll 放入 %HADOOP_HOME%\bin，並設置 HADOOP_HOME。
4. 配置 spark-env.cmd、spark-defaults.conf。
5. PowerShell 以管理員運行 spark-shell.cmd 驗證。

常見坑與解決

• 端口衝突：修改 spark.master.ui.port、spark.worker.ui.port。
• 內存不足：調整 spark.executor.memory、spark.driver.memory。
• 宿主機無法訪問 VM UI：防火牆開放 8080、4040、7077；或配置 SSH 隧道。

優質參考教程

• Linux：Stark Summer - Spark 搭建、OSChina - Spark 部署
• Windows：Windows 下 Spark 安裝圖解

總結

Linux 為首選，遵循「JDK → Scala → Spark → 環境變量 → 配置 → 啟動」六步走；Windows 需額外解決 Hadoop 原生庫依賴。建議初學者直接使用 Docker bitnami/spark 或 jupyter/all-spark-notebook 一鍵啟動，專注學習 API 而非環境折騰。