假設 Hadoop 安裝目錄 HADOOP_HOME=/home/admin/hadoop。以下為日常運維最常用的命令分類速查。
cd $HADOOP_HOME
# 啟動所有服務 (HDFS + YARN/MapReduce)
sh bin/start-all.sh
# 或分別啟動
sh bin/start-dfs.sh
sh bin/start-yarn.sh
# 關閉所有服務
sh bin/stop-all.sh
# 或分別關閉
sh bin/stop-yarn.sh
sh bin/stop-dfs.sh| 操作 | 命令範例 |
|---|---|
| 列出目錄 | sh bin/hadoop fs -ls /user/admin/aaron |
| 遞迴列出 (含子目錄) | sh bin/hadoop fs -lsr /user/admin/aaron |
| 建立目錄 | sh bin/hadoop fs -mkdir /user/admin/aaron/newDir |
| 刪除檔案 | sh bin/hadoop fs -rm /user/admin/aaron/needDelete |
| 刪除目錄 (含內容) | sh bin/hadoop fs -rmr /user/admin/aaron |
| 上傳檔案 (本地 → HDFS) | sh bin/hadoop fs -put /home/admin/newFile /user/admin/aaron/ |
| 下載檔案 (HDFS → 本地) | sh bin/hadoop fs -get /user/admin/aaron/newFile /home/admin/newFile |
| 檢視檔案內容 | sh bin/hadoop fs -cat /user/admin/aaron/newFile |
# 提交作業 (所有 MR 作業皆為 JAR 包)
cd $HADOOP_HOME
sh bin/hadoop jar /home/admin/hadoop/job.jar com.example.MainClass [args...]
# 殺死執行中作業
sh bin/hadoop job -kill job_201005310937_0053sh bin/hadoop
# 輸出所有子命令說明：namenode, datanode, fsck, fs, balancer, jobtracker, tasktracker, job, queue, version, jar, distcp, archive, daemonlog 等-conf：指定設定檔目錄。fs 子命令支援所有類檔案系統操作 (local, hdfs, s3 等)。distcp：叢集間/叢集內大量資料高效複製。archive：建立 Hadoop 歸檔 (HAR) 減少小檔案壓力。
