你的錯誤日誌解讀
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
Name or service not known: 172.29.66.77
jps 僅顯示 ResourceManager、Jps —— **NameNode、DataNode、NodeManager 均未啟動**
核心問題三連擊
- 主機名解析失敗：`172.29.66.77` 無法解析為主機名，Hadoop RPC 要求雙向解析
- Cygwin 環境不完整：缺少 `openssh`、`openssl`、`procps`、`net-tools` 等關鍵包
- 原生庫缺失：Windows 無法加載 `libhadoop.dll`，性能損耗大、功能受限
修復步驟（按順序執行）
1. 修復主機名解析
# Windows 管理員 PowerShell
# 1. 設置固定主機名
Rename-Computer -NewName "hadoop-master" -Force
Restart-Computer
# 2. hosts 文件雙向映射
# C:\Windows\System32\drivers\etc\hosts
127.0.0.1 localhost hadoop-master
172.29.66.77 hadoop-master # 你的實際 IP
# 3. Cygwin 內驗證
hostname # 輸出 hadoop-master
ping hadoop-master # 通
ping localhost # 通
2. 完善 Cygwin 包（在 setup-x86_64.exe 中安裝）
# 必選包
openssh, openssl, procps-ng, net-tools, iproute2,
inetutils, bind-utils, vim, wget, curl, tar, gzip,
java-1.8.0-openjdk-devel # 或手動安裝 JDK 8
3. 配置 SSH 免密登錄
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
# 驗證
ssh localhost # 首次輸入 yes，第二次無需密碼
4. Hadoop 核心配置（`$HADOOP_HOME/etc/hadoop/`）
# core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://hadoop-master:9000</value></property>
<property><name>hadoop.tmp.dir</name><value>/cygdrive/c/hadoop/tmp</value></property>
# hdfs-site.xml
<property><name>dfs.replication</name><value>1</value></property>
<property><name>dfs.namenode.name.dir</name><value>/cygdrive/c/hadoop/data/namenode</value></property>
<property><name>dfs.datanode.data.dir</name><value>/cygdrive/c/hadoop/data/datanode</value></property>
# yarn-site.xml
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
<property><name>yarn.resourcemanager.hostname</name><value>hadoop-master</value></property>
# mapred-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value></property>
5. 格式化 NameNode 並啟動
# 關鍵：必須先格式化
hdfs namenode -format
# 分開啟動（舊腳本 start-all.sh 已棄用）
start-dfs.sh
start-yarn.sh
# 驗證
jps
# 應看到：NameNode, DataNode, SecondaryNameNode, ResourceManager, NodeManager, Jps
避坑指南：Cygwin 下 Hadoop 的固有缺陷
| 問題 | 影響 | 緩解 |
|---|
| 路徑轉換 `/cygdrive/c/...` | 配置繁瑣、易出錯 | 統一用 Unix 風格路徑，避免混用 |
| 無原生庫 | 壓縮、校驗和性能大幅下降 | 接受或改用 Linux |
| 權限模型差異 | HDFS 權限檢查異常 | `dfs.permissions.enabled=false` |
| Shell 腳本兼容性 | 部分啟動腳本失敗 | 手動調用 `hdfs`/`yarn` 命令 |
強烈建議：放棄 Cygwin，擁抱原生替代方案
| 方案 | 優點 | 缺點 | 適合場景 |
|---|
| WSL 2 (Ubuntu/Debian) | 真 Linux 內核、完美兼容、性能接近原生、VS Code 無縫連接 | 需 Win10 2004+、Hyper-V | **首選**：開發、學習、輕量測試 |
| Docker Desktop | 一鍵拉取 `bigdata-hadoop` 鏡像、隔離環境、生產一致 | 資源佔用高、Windows 文件掛載慢 | 微服務測試、CI/CD |
| 虛擬機 | 完全隔離、生產級環境 | 啟動慢、資源重 | 集群模擬、內核調優 |
| 雲端 EMR / CDH | 零運維、彈性伸縮 | 費用、網絡延遲 | 生產、大規模測試 |
WSL 2 极速上手（5 分鐘跑通單機 Hadoop）
# 1. PowerShell 管理員
wsl --install -d Ubuntu
# 重啟後進入 Ubuntu
# 2. 安裝 JDK 8 + Hadoop
sudo apt update && sudo apt install -y openjdk-8-jdk ssh pdsh
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz -C /usr/local/
echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export HADOOP_HOME=/usr/local/hadoop-3.3.6' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc
# 3. 配置同上 core-site.xml 等（localhost 即可）
# 4. 格式化啟動
hdfs namenode -format && start-dfs.sh && start-yarn.sh
jps # 全綠 ✅
總結
Cygwin 安裝 Hadoop 是**十年前的妥協方案**，如今 **WSL 2 提供真 Linux 內核體驗**，配合 Docker/虛擬機/雲端，覆蓋從學習到生產的所有場景。你的錯誤本質是「Windows 模擬 Linux 環境不完整」，**遷移到 WSL 2 即可一勞永逸**。停止在 Cygwin 上折騰，轉向現代工具鏈，才能把精力集中在大數據技術本身上。
