C程序訪問Hadoop HDFS實戰：權限、環境變量與sudoers陷阱完整避坑指南

問題現場還原

編譯通過的C程序調用libhdfs寫入文件，運行時報錯：

Exception: Mkdirs failed to create /my
Call to FileSystem::create failed!
Failed to open /my/t.txt for writing!

三層遞進式解決方案

第一層：HDFS權限不足

# 普通用戶無權在HDFS根目錄創建目錄
$ ./test
# 解決：sudo提權
$ sudo ./test

第二層：sudo不繼承用戶環境變量

$ sudo ./test
Environment variable CLASSPATH not set!  # libhdfs依賴CLASSPATH找jar包
Failed to open /my/txt for writing!

原因：/etc/sudoers默認Defaults env_reset清理環境變量。

修復：編輯sudo visudo，修改：

Defaults        env_reset
→ Defaults        !env_reset

或精確保留：Defaults env_keep += "CLASSPATH JAVA_HOME HADOOP_HOME"

第三層：sudoers權限損壞導致sudo失效

$ sudo chmod 777 /etc/sudoers  # 錯誤！修改權限破壞sudoers
$ sudo chmod 440 /etc/sudoers
sudo: /etc/sudoers 模式為 0777，應為 0440
sudo: 無法初始化策略插件

救援方案：

1. 切換root：su root（需知道root密碼）
2. 單用戶模式/恢復模式掛載根分區修復
3. LiveCD啟動掛載修復
4. 預防：絕不直接chmod sudoers，只用visudo編輯

根治方案：系統級環境配置

# /etc/profile.d/hadoop.sh —— 所有用戶登入生效
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob)
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH

# /etc/sudoers.d/hadoop —— 精確保留變量
Defaults env_keep += "JAVA_HOME HADOOP_HOME CLASSPATH LD_LIBRARY_PATH"

C代碼健壯性增強

// 啟動時檢查關鍵環境變量
const char *required[] = {"JAVA_HOME", "CLASSPATH", "HADOOP_HOME"};
for (int i = 0; i < 3; ++i) {
    if (!getenv(required[i])) {
        fprintf(stderr, "FATAL: Missing env %s\n", required[i]);
        exit(EXIT_FAILURE);
    }
}

// HDFS操作錯誤碼檢查
hdfsFS fs = hdfsConnect("default", 0);
if (!fs) {
    fprintf(stderr, "hdfsConnect failed: %s\n", strerror(errno));
    exit(EXIT_FAILURE);
}

最佳實踐總結