Linux mmap 內存映射完整指南：原理、API、文件 I/O 加速、共享內存、零拷貝與避坑

Linux mmap 內存映射完整指南：原理、API、文件 I/O 加速、共享內存、零拷貝與避坑

mmap() 將文件或設備直接映射到進程虛擬地址空間，實現用戶態直接訪問頁面緩存，是高性能文件 I/O、進程間共享內存、大數據處理的核心系統調用。本文涵蓋原理、API 詳解、典型用法、零拷貝網絡傳輸、匿名映射共享內存、常見錯誤與調優參數。

一、核心原理

• 頁面緩存：文件讀取時，內核將數據從磁盤讀入物理頁面緩存。
• 頁表映射：mmap 在進程頁表中建立虛擬頁面 → 物理頁面緩存的映射，無需拷貝到用戶態緩衝區。
• 缺頁中斷：首次訪問映射區觸發缺頁中斷，內核分配物理頁、建立映射、預讀數據。
• 寫回：MAP_SHARED 修改經 msync / munmap / 內核定期回寫刷入磁盤；MAP_PRIVATE 觸發 Copy-on-Write，修改不回寫文件。

二、API 完整簽名

#include 
#include 
#include 

void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
int munmap(void *addr, size_t length);
int msync(void *addr, size_t length, int flags); // 同步到磁盤
int mprotect(void *addr, size_t length, int prot); // 修改保護屬性
int madvise(void *addr, size_t length, int advice); // 訪問提示

三、關鍵參數詳解

四、典型用法 1：高性能文件讀寫

// 讀取整個文件到內存（自動分頁、按需加載）
int fd = open("large.dat", O_RDONLY);
off_t fsize = lseek(fd, 0, SEEK_END);
void *map = mmap(NULL, fsize, PROT_READ, MAP_SHARED, fd, 0);
close(fd); // fd 關閉不影響映射

// 直接訪問
char *data = (char *)map;
process(data, fsize);

munmap(map, fsize);

優勢：無 read/memcpy 開銷，內核自動預讀、回收頁面，適合大文件隨機訪問。

五、典型用法 2：父子進程共享內存 (MAP_ANONYMOUS)

// 匿名映射，無文件後備，父子進程 fork 後共享
void *shared = mmap(NULL, 4096, PROT_READ|PROT_WRITE,
                    MAP_SHARED | MAP_ANONYMOUS, -1, 0);
int *counter = (int *)shared;
*counter = 0;

pid_t pid = fork();
if (pid == 0) {
    for (int i = 0; i < 1000000; ++i) __sync_fetch_and_add(counter, 1);
    exit(0);
}
wait(NULL);
printf("Counter: %d\n", *counter); // 2000000 (需原子操作)
munmap(shared, 4096);

六、典型用法 3：零拷貝網絡發送

// sendfile / splice 替代方案：mmap + write
void *map = mmap(NULL, fsize, PROT_READ, MAP_SHARED, fd, 0);
write(sockfd, map, fsize); // 數據直接從頁面緩存經 Socket 發送，無用戶態拷貝
munmap(map, fsize);

現代內核 sendfile/splice 更高效（內核態直連），但 mmap+write 通用性更好。

七、進階特性

八、常見錯誤與避坑

1. offset 非頁面對齊：EINVAL。解決：offset & ~(pagesize-1) 對齊下取整，讀取時手動偏移。
2. MAP_PRIVATE 修改不回寫：預期修改文件卻用 PRIVATE。解決：用 MAP_SHARED。
3. munmap 後繼續訪問：SIGSEGV。解決：生命周期管理，引用計數或 RAII 封裝。
4. 32 位進程映射大文件：虛擬地址空間不足 (4GB 限制)。解決：分段映射、遷移 64 位。
5. 多線程競爭映射區：需自行加鎖，mmap 不提供同步。
6. 堆/棧與映射區重疊：addr 指定非 NULL 易衝突。解決：始終傳 NULL。

九、性能調優清單

• 順序訪問：madvise(MADV_SEQUENTIAL) 觸發激進預讀。
• 隨機訪問：madvise(MADV_RANDOM) 禁用預讀，節省帶寬。
• 大文件只讀：MAP_SHARED | PROT_READ，內核可直接丟棄頁面緓存頁面。
• 高併發寫入：考慮 mmap + 用戶態鎖 或改用 write + O_DIRECT 繞過頁面緩存。
• 監控指標：/proc/vmstat pgmajfault/minflt、pidstat -d、perf stat -e page-faults。

總結

mmap 以虛擬內存映射替代數據拷貝，實現文件 I/O「零拷貝」、進程共享內存「零拷貝」、網絡發送「零拷貝」。掌握 MAP_SHARED/PRIVATE 語義、offset 對齊、msync/mprotect/madvise 進階控制、生命周期管理，是構建高性能存儲引擎、數據庫、消息隊列、多媒體處理器的核心技能。