首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置: 程式碼之家 >> 編程語言 >  >> 更多程式語言 >> 程式設計疑難解答

Hadoop 執行本地 JAR 包:cd 到目錄下直接執行即可

     編輯:程式設計疑難解答

Hadoop 執行 JAR 的標準指令:

hadoop jar <jar檔完整路徑> <主類名> [參數...]

路徑指定方式

  • 絕對路徑:hadoop jar /home/user/jobs/wordcount.jar com.example.WordCount /input /output
  • 相對路徑:先 cd /home/user/jobs,再 hadoop jar wordcount.jar com.example.WordCount /input /output。

Hadoop 不需在設定檔配置 JAR 路徑,直接在指令後給路徑即可。若 JAR 內含依賴庫,請打包成 Fat JAR (含所有依賴) 或用 -libjars 參數傳遞額外 JAR:

hadoop jar myjob.jar com.example.Main -libjars /path/to/dep1.jar,/path/to/dep2.jar ...

常見錯誤

  • ClassNotFoundException:主類名拼寫錯誤,或 JAR 未包含該類 (檢查 MANIFEST.MF Main-Class)。
  • NoSuchMethodError:依賴版本衝突,建議用 Maven Shade Plugin 打包 Fat JAR 並 relocation 避免衝突。
  • 權限不足:執行用戶需對 HDFS 輸入/輸出路徑有讀寫權限。

記住:「cd 到 JAR 所在目錄,直接下 hadoop jar xxx.jar MainClass ...」是最不易出錯的習慣。

  1. 上一篇文章:
  2. 下一篇文章:
Copyright © 程式碼之家 All Rights Reserved