PHP 操作 HDFS：Thrift 整合 Hadoop 完整實踐與坑點排查

使用 PHP 透過 Thrift 協定存取 HDFS，需編譯 Thrift PHP 擴展並啟動 Hadoop Thrift Server。本文記錄完整建置流程與實遇錯誤排查。

建置步驟概覽

# 1. 安裝 Thrift 0.9.0
wget https://dist.apache.org/repos/dist/release/thrift/0.9.0/thrift-0.9.0.tar.gz
tar zxvf thrift-0.9.0.tar.gz && cd thrift-0.9.0
yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
./configure --prefix=/usr/local/thrift && make && make install

# 2. 複製 PHP 擴展與 Hadoop 產生的 gen-php
cp -R ./lib/php/ /usr/local/thrift/lib/
cp -R /tmp/hadoop-1.0.4/src/contrib/thriftfs/gen-php/ /usr/local/thrift/lib/php/src/packages/hadoopfs/

# 3. 編譯安裝 thrift_protocol PHP 擴展
cd ./lib/php/src/ext/thrift_protocol/
yum install php-devel
phpize && ./configure && make && make install

# 4. 啟動 Hadoop Thrift Server
cd /tmp/hadoop-1.0.4/src/contrib/thriftfs/scripts/
./start_thrift_server.sh

實遇關鍵錯誤與分析

log4j:ERROR Could not instantiate class [org.apache.hadoop.log.metrics.EventCounter]
java.lang.ClassNotFoundException: org.apache.hadoop.log.metrics.EventCounter
...
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration

排查方向

1. Hadoop 版本與 Thrift 版本不匹配：Hadoop 1.0.4 內建 Thrift 介面可能與 0.9.0 不相容，嘗試降級 Thrift 至 0.2.0
2. Classpath 缺失 Hadoop 核心 jar：檢查 start_thrift_server.sh 中 CLASSPATH 是否包含 hadoop-core-*.jar、hadoop-common-*.jar
3. log4j 配置錯誤：log4j.properties 中 EventCounter 類別在新版 Hadoop 已移除/重命名
4. JDK 版本差異：確認編譯與執行 JDK 版本一致（建議 JDK 7/8）

替代方案建議

• 使用 WebHDFS REST API：Hadoop 內建 HTTP 介面，PHP 直接 cURL 操作，無需 Thrift 編譯
• 使用 Hadoop Streaming 或 CLI 包裝：shell_exec('hdfs dfs -put ...')
• 考慮 Apache Hive / Impala 配合 ODBC/JDBC 間接存取

Thrift 整合複雜度高、版本敏感，生產環境建議優先評估 REST API 方案。