HBase 二級索引構建實戰：MapReduce 方案、內存溢出排查與類加載異常解決

前言

HBase 原生僅支持 RowKey 單一維度查詢，業務常需按非 RowKey 列查詢，故需構建二級索引。本文基於 MapReduce 批量構建索引表的完整方案，詳細記錄兩類生產級異常（Container 內存超限、類加載失敗）的根因分析與解決路徑，並附帶建表、寫數據、驗證全流程命令。

一、架構設計：主表 → 索引表映射

• 主表：studentinfo，列族 f1，RowKey 為學生 ID
• 索引表：每個需查詢的列（如 name）建一張索引表 studentinfo-name，列族 f1，RowKey 為該列值，列限定符 id 存主表 RowKey
• 查詢流程：按名字查學生 → 掃描索引表獲取 RowKey → 回主表查詳情

二、MapReduce 索引構建核心代碼

public class IndexCreateExample extends TableMapper<ImmutableBytesWritable, Put> {
    private static Configuration conf;
    private String familyName;
    private Map<byte[], ImmutableBytesWritable> indexes = new HashMap<>();

    static {
        conf = new Configuration();
        conf.addResource(new Path("hbase-site.xml"));
        conf = HBaseConfiguration.create(conf);
    }

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        String tableName = conf.get("tableName");
        familyName = conf.get("familyName");
        String[] qualifiers = conf.getStrings("qualifiers");
        for (String qualifier : qualifiers) {
            // 索引表名 = 主表名 + "-" + 列名
            indexes.put(Bytes.toBytes(qualifier),
                        new ImmutableBytesWritable(Bytes.toBytes(tableName + "-" + qualifier)));
        }
    }

    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context)
            throws IOException, InterruptedException {
        for (byte[] qualifier : indexes.keySet()) {
            byte[] cellValue = value.getValue(Bytes.toBytes(familyName), qualifier);
            if (cellValue != null) {
                Put put = new Put(cellValue);           // 索引表 RowKey = 列值
                put.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("id"), key.get()); // 存主表 RowKey
                context.write(indexes.get(qualifier), put); // MultiTableOutputFormat 路由到對應索引表
            }
        }
    }

    public static void main(String[] args) throws Exception {
        // 參數：tableName, columnFamily, qualifier1, qualifier2...
        // 配置 Job：TableInputFormat 讀主表，MultiTableOutputFormat 寫多張索引表
        // Mapper = IndexCreateExample，Reducer = 0
    }
}

三、異常一：Container 物理內存超限

錯誤現象

Container [pid=3984] is running beyond physical memory limits.
Current usage: 285.6 MB of 256 MB physical memory used;
1.5 GB of 537.6 MB virtual memory used. Killing container.

根因分析

• YARN 容器默認內存 256 MB（yarn.scheduler.minimum-allocation-mb），MapTask JVM 堆（-Xmx）+ 非堆（Metaspace、線程棧、Direct Memory、JNI 等）超過物理限制。
• 代碼中 HashMap<byte[], ImmutableBytesWritable> indexes 若列數極大，或 Result 對象較大，會佔用較多堆外/堆內內存。

解決方案

1. 調大容器內存：在 mapred-site.xml 或提交命令設置
   mapreduce.map.memory.mb=1024
mapreduce.map.java.opts=-Xmx819m（堆約 80% 容器內存）
2. 啟用 JVM 直接內存限制：-XX:MaxDirectMemorySize=128m
3. 優化代碼：indexes 改為 List 避免 byte[] 作鍵的哈希開銷；map 方法中及時釋放大對象引用。

Caused by: java.lang.ClassNotFoundException:
org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
...
at org.apache.hadoop.hbase.util.ReflectionUtils.instantiateWithCustomCtor(ReflectionUtils.java:32)

# 1. 建主表並寫入測試數據
create 'studentinfo','f1'
put 'studentinfo','1','f1:name','zhangsan'
put 'studentinfo','2','f1:name','lisi'
put 'studentinfo','3','f1:name','wangwu'
scan 'studentinfo'

# 2. 建索引表（手動預建，或由 MR 自動建表需啟用 AutoCreateTable）
create 'studentinfo-name','f1'

# 3. 提交 MR 任務構建索引
hadoop jar hbase-index-mr.jar com.example.IndexCreateExample studentinfo f1 name

# 4. 驗證索引表數據
scan 'studentinfo-name'
# 預期輸出：
# ROW        COLUMN+CELL
# lisi       column=f1:id, timestamp=..., value=2
# wangwu     column=f1:id, timestamp=..., value=3
# zhangsan   column=f1:id, timestamp=..., value=1