Java 大文件讀取利器：MappedByteBuffer 內存映射實現高效隨機存取

場景

需處理 200MB+ 文本文件，傳統 BufferedReader 逐行讀取較慢，且難以隨機定位。MappedByteBuffer 將文件直接映射到記憶體，由 OS 虛擬記憶體管理分頁載入，適合大文件順序/隨機讀取。

核心代碼

import java.io.*;
import java.nio.*;
import java.nio.channels.*;

public class LargeFileReader {
    public static void main(String[] args) throws IOException {
        File file = new File("bigdata.txt");
        long fileSize = file.length();
        
        try (RandomAccessFile raf = new RandomAccessFile(file, "r");
             FileChannel channel = raf.getChannel()) {
            
            // 映射整個文件（或分段映射，單次映射上限 2GB）
            MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, fileSize);
            
            // 1. 順序讀取並解析行
            int limit = buffer.limit();
            StringBuilder line = new StringBuilder();
            for (int i = 0; i < limit; i++) {
                byte b = buffer.get(i);
                if (b == '\n') {
                    processLine(line.toString());
                    line.setLength(0);
                } else if (b != '\r') {
                    line.append((char) b);
                }
            }
            if (line.length() > 0) processLine(line.toString());
            
            // 2. 隨機存取示例：讀取中間 100 字節
            buffer.position(limit / 2);
            byte[] sample = new byte[100];
            buffer.get(sample);
            System.out.println("中間片段: " + new String(sample, StandardCharsets.UTF_8));
        }
    }
    
    private static void processLine(String line) {
        // 這裡處理有效數據，如正則提取、入庫等
        if (line.contains("ERROR")) System.out.println(line);
    }
}

關鍵優勢

• 零拷貝：OS 直接將磁碟頁面映射到進程地址空間，避免 read() 系統調用與用戶/核心態拷貝。
• 隨機存取 O(1)：buffer.position(offset) 即可跳轉，無需重新開啟流。
• 自動分頁載入：只讀取被訪問的頁面，記憶體壓力小。

注意事項與限制

1. 映射大小限制：32 位 JVM 單次映射 ≤ 2GB；64 位理論無上限，但受虛擬記憶體區域限制。
2. 文件變更不可見：映射後文件被其他進程修改，行為未定義（建議唯讀映射）。
3. 關閉釋放：MappedByteBuffer 無 close()，依賴 GC 回收 DirectByteBuffer 觸發 Cleaner 釋放映射。大量映射建議手動 sun.misc.Cleaner 或升級 JDK 9+ 使用 MemorySegment。
4. 編碼處理：Buffer 操作位元組，跨字節字符（UTF-8 中文）需自行處理邊界。

進階：分段映射大文件（>2GB）

final int MAP_SIZE = 512 * 1024 * 1024; // 512MB per segment
for (long offset = 0; offset < fileSize; offset += MAP_SIZE) {
    long size = Math.min(MAP_SIZE, fileSize - offset);
    MappedByteBuffer buf = channel.map(FileChannel.MapMode.READ_ONLY, offset, size);
    // 處理 buf...
    // 手動釋放（需反射或 JDK 9+）
    ((DirectBuffer) buf).cleaner().clean();
}

替代方案對比