您现在的位置：程式碼之家 >> 編程語言 > >> Java 程式設計 >> Java 程式設計入門

Java 大檔案高效讀寫：MappedByteBuffer 記憶體映射完全指南

編輯：Java 程式設計入門

為什麼傳統 I/O 在大檔案面前力不從心？

處理 GB 級甚至更大檔案時，BufferedInputStream / BufferedReader 等傳統阻塞 I/O 存在明顯短板：

資料需經「磁碟 → 核心緩衝區 → 用戶緩衝區（堆記憶體） → 程式」多次拷貝。
堆記憶體有限（受 -Xmx 限制），無法一次載入超大檔案。
頻繁的 read()/write() 系統呼叫帶來上下文切換開銷。

MappedByteBuffer：零拷貝的記憶體映射黑科技

核心原理

MappedByteBuffer 透過作業系統的虛擬記憶體管理，將檔案直接映射到進程的虛擬位址空間（非物理記憶體）。核心優勢：

零拷貝：資料直接在核心空間與用戶空間虛擬頁面間映射，省去用戶緩衝區拷貝。
按需分頁：僅在存取時觸發缺頁中斷載入對應頁面，支援超大檔案（受限於虛擬記憶體，非物理記憶體）。
隨機存取：像操作陣列一樣 get(index) / put(index, val)，OS 自動處理頁面換入換出。

三大映射模式

模式	常數	行為
唯讀	`MapMode.READ_ONLY`	嘗試修改拋出 `ReadOnlyBufferException`
讀寫	`MapMode.READ_WRITE`	修改最終同步回磁碟，對其他映射同檔案的進程可見性不保證
私有	`MapMode.PRIVATE`	修改不寫回檔案，建立私有副本，其他進程不可見

核心 API

// FileChannel 映射檔案區域
MappedByteBuffer map(FileChannel.MapMode mode, long position, long size)

// 強制刷新變更到磁碟 (READ_WRITE 模式有效)
mbb.force();

// 預載入內容到物理記憶體
mbb.load();

// 檢查是否駐留物理記憶體
boolean loaded = mbb.isLoaded();

實戰：大檔案複製效能對比

public class MappedFileCopy {
    public static void main(String[] args) throws Exception {
        String src = "E:/data/large_file.dat"; // 1.4GB 測試檔
        String dest = "E:/data/copy_mapped.dat";

        // 傳統 NIO (Heap ByteBuffer)
        long t1 = System.currentTimeMillis();
        try (FileChannel in = new FileInputStream(src).getChannel();
             FileChannel out = new FileOutputStream(dest).getChannel()) {
            ByteBuffer buf = ByteBuffer.allocate(1024 * 1024); // 1MB 堆緩衝區
            while (in.read(buf) != -1) {
                buf.flip();
                out.write(buf);
                buf.clear();
            }
        }
        System.out.println("Heap Buffer: " + (System.currentTimeMillis() - t1) + "ms");

        // MappedByteBuffer (直接記憶體)
        long t2 = System.currentTimeMillis();
        try (FileChannel in = new FileInputStream(src).getChannel();
             FileChannel out = new FileOutputStream(dest + "_mapped").getChannel()) {
            MappedByteBuffer mbb = in.map(FileChannel.MapMode.READ_ONLY, 0, in.size());
            out.write(mbb); // 一次性寫入，OS 自動分頁處理
        }
        System.out.println("MappedByteBuffer: " + (System.currentTimeMillis() - t2) + "ms");
    }
}

典型結果：傳統堆緩衝區 ~2000ms，MappedByteBuffer ~50ms（視磁碟/OS 快取而定），效能提升 10-40 倍。

坑點與解決方案：資源釋放難題

問題根源

MappedByteBuffer 無 unmap() 方法，檔案鎖定直到 Buffer 被 GC 回收（Cleaner.clean()），時間不可控。導致：

Windows 下檔案無法刪除/重命名（被進程佔用）。
大量映射未及時釋放導致虛擬記憶體耗盡（OutOfMemoryError: Map failed）。

解決方案：反射強制釋放 (JDK 內部 API，需 `--add-opens`)

public static void unmap(MappedByteBuffer buffer) throws Exception {
    if (buffer == null || !buffer.isDirect()) return;
    Method cleanerMethod = buffer.getClass().getMethod("cleaner");
    cleanerMethod.setAccessible(true);
    Object cleaner = cleanerMethod.invoke(buffer);
    Method cleanMethod = cleaner.getClass().getMethod("clean");
    cleanMethod.invoke(cleaner);
    System.out.println("MappedByteBuffer 已釋放映射");
}

生產環境建議：