Hive 整合 HBase 寫入報錯「Path from empty string」：版本兼容與配置缺失排查

錯誤堆疊核心

java.lang.IllegalArgumentException: Can not create a Path from an empty string
    at org.apache.hadoop.fs.Path.checkPathArg(Path.java:127)
    at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:213)
    ...
    at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:137)

根因分析

1. 版本不兼容（核心）：Hadoop 2.2.0 + HBase 0.98 + Hive 0.14 **版本矩陣不匹配**。Hive 0.14 依賴 Hadoop 2.4+/2.6+ API，HBase 0.98 對應 Hadoop 2.2/2.3。`JobSubmitter.copyAndConfigureFiles` 嘗試複製作業依賴 JAR 到分布式緩存，因類/方法簽名差異導致路徑解析為空串。
2. 缺少 `hbase-site.xml` 在 Hive classpath：Hive 執行 MR 任務時需讀取 HBase 配置（ZK 地址等），若未正確加載，`TableOutputFormat` 初始化失敗，產生空路徑。
3. 缺少 HBase 依賴 JAR 分發：`hive-aux-jars-path` 未包含 `hbase-client`、`hbase-server`、`htrace-core` 等，導致 MR 任務端 ClassNotFound/配置為空。

解決方案（按優先級）

1. 統一版本（最徹底）

升級至**兼容版本組合**，例如：

• Hadoop 2.7.3 / 2.8.5 / 3.1.3
• HBase 1.2.x / 2.0.x (對應 Hadoop 版本)
• Hive 2.3.x / 3.1.x (對應 Hadoop 版本)

**CDH/HDP 等發布版**已解決此類兼容性地獄，強烈建議生產環境使用發布版。

2. 必要配置補全（若必須用現有版本）

    hive.aux.jars.path
    file:///opt/hive/lib/hbase-client-0.98.jar,file:///opt/hive/lib/hbase-server-0.98.jar,file:///opt/hive/lib/htrace-core-3.0.4.jar,file:///opt/hive/lib/zookeeper-3.4.6.jar



cp $HBASE_HOME/conf/hbase-site.xml $HIVE_HOME/conf/

3. 驗證 HBase 表創建與寫入語法

-- Hive 創建外部表映射 HBase
CREATE EXTERNAL TABLE hive_hbase_table (
    rowkey STRING,
    cf1_col1 STRING,
    cf1_col2 INT
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
    "hbase.columns.mapping" = ":key,cf1:col1,cf1:col2"
)
TBLPROPERTIES ("hbase.table.name" = "hbase_table");

-- 寫入數據 (需開啟動態分區)
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
INSERT INTO TABLE hive_hbase_table SELECT ... FROM source_table;

4. 關鍵依賴 JAR 清單 (HBase 0.98 + Hive 0.14)

• `hbase-client-0.98.jar`
• `hbase-server-0.98.jar`
• `hbase-common-0.98.jar`
• `hbase-protocol-0.98.jar`
• `htrace-core-3.0.4.jar` (HBase 0.98 依賴)
• `zookeeper-3.4.6.jar`
• `guava-12.0.1.jar` (避免版本衝突)

將上述 JAR 放入 `$HIVE_HOME/lib` 或配置 `hive.aux.jars.path`。

調試技巧

• 啟用 Hive 調試日志：`set hive.root.logger=DEBUG,console;`
• 檢查 MR 任務日志（YARN UI → Application → Logs），定位具體 Task 失敗節點。
• 先在 HBase Shell 驗證 `put` 正常，排除 HBase 單獨問題。

總結

「Path from empty string」本質是 **Hive/HBase/Hadoop 版本不兼容導致 MR 作業配置序列化/反序列化失敗**。根治之道是**統一使用經測試的兼容版本組合（或發布版）**，輔以完整的 `hive.aux.jars.path` 和 `hbase-site.xml` 配置。自建版本組合維護成本極高，非核心研發團隊強烈不建議。