首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置: 程式碼之家 >> 編程語言 >  >> Java 程式設計 >> Java 相關知識

Windows 32 位 Eclipse 遠端 Hadoop 開發環境搭建完整指南

     編輯:Java 相關知識

環境需求與版本說明

元件版本/規格
作業系統Windows 7 64 位(運行 32 位軟體)
Eclipseeclipse-jee-mars-2-win32 (32 位)
JDK1.8.0_77 32 位
Hadoop2.5.2(遠端 Linux 伺服器)

步驟 1:本地 Hadoop 解壓與環境變數

  1. 解壓 hadoop-2.5.2.tar.gz 至 D:\app\hadoop-2.5.2\
  2. 設定環境變數:HADOOP_HOME=D:\app\hadoop-2.5.2\
  3. Path 追加:%HADOOP_HOME%\bin

步驟 2:安裝 Eclipse Hadoop 插件

2.1 下載 hadoop-eclipse-plugin

GitHub 專案:https://github.com/winghc/hadoop2x-eclipse-plugin

直接下載 release/hadoop-eclipse-plugin-2.6.0.jar 複製至 eclipse/plugins/ 重啟 Eclipse。

2.2 配置 Windows 32 位原生庫

下載 hadoop.dll、winutils.exe (32 位版本):

  • winutils.exe → %HADOOP_HOME%\bin\
  • hadoop.dll → C:\Windows\SysWOW64\(64 位系統運行 32 位程式路徑)

注意:純 32 位系統請放入 C:\Windows\System32\

步驟 3:配置 Hadoop 插件連線

  1. Eclipse → Window → Preferences → Hadoop Map/Reduce → 設定 Hadoop Home:D:\app\hadoop-2.5.2\
  2. Window → Show View → Other → Map/Reduce → Map/Reduce Locations
  3. 新增 Location,關鍵參數:

步驟 4:解決權限問題

遠端 Hadoop hdfs-site.xml 新增:

<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>

執行:

hadoop dfsadmin -safemode leave
hadoop fs -chmod 777 /

重啟 Hadoop 叢集後即可在 Eclipse 瀏覽 HDFS、刪除檔案。

步驟 5:建立 WordCount 專案與除錯

  1. New → Map/Reduce Project
  2. 新增 WordCount.java(標準 MapReduce 範例)
  3. src 目錄新增 log4j.properties 配置控制台輸出
  4. Run Configurations → Arguments → Program arguments:
hdfs://192.168.1.100:9000/user/input/README.txt
hdfs://192.168.1.100:9000/user/output/
  • 輸入檔需預先上傳至 HDFS
  • 輸出目錄必須不存在,否則作業失敗
  • 設定斷點即可進行遠端除錯

常見連線問題排查

參數說明範例值
Location name自訂名稱MyHadoopCluster
Map/Reduce Master HostNameNode IP192.168.1.100
Map/Reduce Master PortResourceManager IPC 埠8032 (對應 yarn-site.xml)
DFS Master HostNameNode IP192.168.1.100
DFS Master PortNameNode RPC 埠9000 (對應 core-site.xml fs.defaultFS)
User nameHadoop 運行用戶hadoop
現象可能原因解決方案
連線超時防火牆阻擋埠口開放 9000, 8032, 50070 等埠
ClassNotFoundException原生庫架構不符確認 32/64 位 JDK、Eclipse、hadoop.dll 一致
權限拒絕用戶不匹配關閉 dfs.permissions 或同步用戶名
找不到 NameNodecore-site.xml 設為 localhost改為實際 IP 或主機名

驗證連線指令

telnet 192.168.1.100 9000
# 或
hadoop fs -ls hdfs://192.168.1.100:9000/
  1. 上一篇文章:
  2. 下一篇文章:
Copyright © 程式碼之家 All Rights Reserved