Java 記憶體映射文件（MappedByteBuffer）高效處理大文件實戰

處理 GB 級大文件時，傳統 FileInputStream、RandomAccessFile 頻繁磁盤 I/O 導致效能低下。Java NIO 提供的記憶體映射文件將文件直接映射到進程地址空間，讀寫操作轉為記憶體操作，效能提升數十倍。本文通過基準測試對比三種讀取方式，並給出生產級封裝範例。

一、原理：為什麼快？

• 傳統 I/O：用戶態 ⇄ 內核態 ⇄ 磁盤，多次數據拷貝與上下文切換
• 記憶體映射：文件區域直接映射到虛擬記憶體，讀寫即記憶體操作，OS 負責頁面調度與回寫，省去用戶/內核拷貝與系統調用開銷

二、基準測試：1.25 MB 文件讀取耗時對比

結論：映射文件快 50-180 倍，且文件越大優勢越明顯（OS 自動換頁管理）。

三、核心 API

// 獲取文件通道
FileChannel channel = new RandomAccessFile(file, "rw").getChannel();

// 映射模式：READ_ONLY / READ_WRITE / PRIVATE
MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, fileSize);

// 讀寫操作（ByteBuffer 所有方法均可用）
byte b = buffer.get(index);        // 讀取單字節
buffer.put(index, (byte) value);   // 寫入單字節
buffer.force();                    // 強制刷新到磁盤
buffer.load();                     // 預加載到物理記憶體

四、生產級封裝範例：大文件逐行處理

public class LargeFileProcessor {
    public static void processLineByLine(File file, LineProcessor processor) throws IOException {
        try (FileChannel channel = FileChannel.open(file.toPath(), StandardOpenOption.READ)) {
            long fileSize = channel.size();
            MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, fileSize);
            
            int start = 0;
            for (int i = 0; i < fileSize; i++) {
                if (buffer.get(i) == '\n') {
                    int length = i - start;
                    byte[] lineBytes = new byte[length];
                    buffer.position(start).get(lineBytes);
                    processor.process(new String(lineBytes, StandardCharsets.UTF_8));
                    start = i + 1;
                }
            }
            // 處理最後一行（無換行符）
            if (start < fileSize) {
                byte[] lineBytes = new byte[fileSize - start];
                buffer.position(start).get(lineBytes);
                processor.process(new String(lineBytes, StandardCharsets.UTF_8));
            }
        }
    }
    
    @FunctionalInterface
    public interface LineProcessor {
        void process(String line);
    }
}

五、注意事項與最佳實踐

1. 文件大小限制：32 位 JVM 單次映射最大 1.5-2 GB；64 位 JVM 受限於虛擬記憶體，建議分塊映射（如每次 100-500 MB）
2. 內存壓力：映射區佔用進程虛擬記憶體，大量大文件同時映射可能導致 OOM，用完及時釋放引用
3. 強制刷新：關鍵數據寫入後調用 buffer.force() 確保持久化
4. 併發安全：多線程讀同一映射區需同步；寫入建議單線程或使用 PRIVATE 模式（Copy-on-Write）
5. 關閉資源：FileChannel.close() 會取消映射，配合 try-with-resources 使用

六、總結

記憶體映射文件是處理大文件的利器，將 I/O 瓶頸轉移給 OS 頁面管理系統。適用場景：日誌分析、大數據導入、文件校驗、多媒體處理。掌握 MappedByteBuffer 與 FileChannel 組合，能讓你的文件處理代碼既簡潔又高效。