linux内存管理——mmap函数详解

本文在这篇文章的基础上，略作修改。因为本人通过实验发现这篇文章存在些许错误。
原文链接： https://yq.aliyun.com/article...

mmap函数是unix/linux下的系统调用。
当存在客户－服务程序中复制文件时候，其数据流如下，要经历四次数据复制，开销很大。

linux内存管理——mmap函数详解

如果采用共享内存的方式，那么将大大优化IO操作，数据流变成了如下，数据只复制两次：

linux内存管理——mmap函数详解

映射文件或设备到内存中，取消映射就是munmap函数。

语法如下：

void mmap(void addr, size_t length, int prot, int flags, int fd, off_t offset);

int munmap(void *addr, size_t length);

该函数主要用途有三个：

1、将普通文件映射到内存中，通常在需要对文件进行频繁读写时使用，用内存读写取代I/O读写，以获得较高的性能；

2、将特殊文件进行匿名内存映射，为关联进程提供共享内存空间；

3、为无关联的进程间的Posix共享内存（SystemV的共享内存操作是shmget/shmat）

我们来看下函数的入参选择：

1、参数addr：

指向欲映射的内存起始地址，通常设为 NULL，代表让系统自动选定地址，映射成功后返回该地址。

2、参数length：

代表将文件中多大的部分映射到内存。

3、参数prot：

映射区域的保护方式。可以为以下几种方式的组合：

PROT_EXEC 映射区域可被执行

PROT_READ 映射区域可被读取

PROT_WRITE 映射区域可被写入

PROT_NONE 映射区域不能存取

4、参数flags：

影响映射区域的各种特性。在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。

MAP_FIXED 如果参数start所指的地址无法成功建立映射时，则放弃映射，不对地址做修正。通常不鼓励用此。

MAP_SHARED对映射区域的写入数据会复制回文件内，而且允许其他映射该文件的进程共享。

MAP_PRIVATE 对映射区域的写入操作会产生一个映射文件的复制，即私人的“写入时复制”（copy on write）对此区域作的任何修改都不会写回原来的文件内容。

MAP_ANONYMOUS建立匿名映射。此时会忽略参数fd，不涉及文件，而且映射区域无法和其他进程共享。

MAP_DENYWRITE只允许对映射区域的写入操作，其他对文件直接写入的操作将会被拒绝。

MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换（swap）。

5、参数fd：

要映射到内存中的文件描述符。如果使用匿名内存映射时，即flags中设置了MAP_ANONYMOUS，fd设为-1。

6、参数offset：

文件映射的偏移量，通常设置为0，代表从文件最前方开始对应，offset必须是分页大小的整数倍。如下图内存映射文件的示例。

linux内存管理——mmap函数详解

以下示例代码，在ubuntu 16.04.4上测试通过。gcc版本：5.4.0
使用dd命令，可以创建任意大小的测试文件。
比如：dd if=/dev/zero of=/tmp/hello.txt bs=4096 count=1
即在/tmp目录下创建一个大小为4096的文件。

1 共享映射
修改共享内存中的文件内容：

#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <error.h>

int main (int argc, char **argv) 
{
    int fd, nread, i;
    struct stat sb;
    char *mapped;
    
    if ( argc <= 1 ) {
        printf("%s: Need file path! \n",argv[0]);
        exit(-1);
    }

    /* 打开文件 */
    if ((fd = open (argv[1], O_RDWR)) < 0) {
        perror ("open");
    }

    /* 获取文件的属性 */
    if ((fstat (fd, &sb)) == -1) {
        perror ("fstat");
    }

    /* 将文件映射至进程的地址空间 */

    if ((mapped = (char *) mmap (NULL, sb.st_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0)) == (void *) -1) {
        perror ("mmap");
    }

    /* 映射完后, 关闭文件也可以操纵内存 */
    close (fd);

    printf ("%s", mapped);
  
    /* 修改一个字符,同步到磁盘文件 */
    mapped[0] = '0';

    if ((msync ((void *) mapped, sb.st_size, MS_SYNC)) == -1) {
        perror ("msync");
    }

    /* 释放存储映射区 */
    if ((munmap ((void *) mapped, sb.st_size)) == -1) {
        perror ("munmap");
    }
  
    return 0;
 }

编译：
$ gcc -c lianxi1.c
链接:
$ gcc -o out1 lianxi1.o
执行, 参数为一个文件全路径。例如在/tmp下创建一个hello1.txt,存入hello单词:
$ ./out1 /tmp/hello1.txt
执行完毕后发现文件中的第一个字母h变成了0。
程序将文件映射到了内存中，并将第一个字符进行了修改并同步到了磁盘文件中。

2 父子进程通信
使用fork创建进程，父子进程分别往共享内存中写入各自字符串，并读出。

#include <sys/mman.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

#define BUF_SIZE 100

int main (int argc, char **argv) 
{
    char *p_map;

    /* 匿名映射,创建一块内存供父子进程通信 */
    p_map = (char *) mmap (NULL, BUF_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
    if (fork () == 0) {
        sleep (1); //可以修改此处睡眠时间，看看不同的输出。
        printf ("child got a message: %s\n", p_map);
        sprintf (p_map, "%s", "from u son");
        munmap (p_map, BUF_SIZE); //实际上，进程终止时，会自动解除映射。 
        exit (0);
    } 

    sprintf (p_map, "%s", "from u father");
    sleep (2); //可以修改此处睡眠时间，看看不同的输出。
    printf ("parent got a message: %s\n", p_map);

    return 0;
}

编译：
$ gcc -c lianxi2.c
链接:
$ gcc -o out2 lianxi2.o
执行:
$ ./out2
这段代码，根据父子进程的sleep时间长短不同，输出会有不同。

3 内存访问溢出
linux采用的是页式管理机制，使用mmap()映射普通文件后，进程会在自己的地址空间新增一块空间，空间大小由mmap()的len参数指定。但是，进程并不一定能够对全部新增空间都能进行有效访问。进程能够访问的有效地址大小取决于文件被映射部分的大小。决定进程能访问的大小是容纳文件被映射部分的最小页面数。如下图。

linux内存管理——mmap函数详解

#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h> 

int main (int argc, char **argv)
{
    int fd;
    int pagesize, offset;
    int len, size;
    char *p_map;
    struct stat sb;

    /* 取得page size */
    pagesize = sysconf (_SC_PAGESIZE);
    printf ("pagesize is %d\n", pagesize);

    /* 打开文件 */
    fd = open (argv[1], O_RDWR, 00777);
    fstat (fd, &sb);

    len = pagesize * 2;
    size = sb.st_size;
    printf("映射内存长度: %d; 文件大小: %d\n", len, size);
    offset = 0;
    //映射两页内存
    p_map = (char *) mmap (NULL, len, PROT_READ | PROT_WRITE, MAP_SHARED, fd, offset);
    close (fd);

    printf("开始测试\n");
    printf("访问超过映射大小内存地址\n");
    p_map[len] = '9';      /* 导致段错误 */

    if(size < pagesize) {  //文件大小小于一页大小
        printf("文件大小小于一页大小\n");
        printf("访问文件大小内存地址\n");
        p_map[size] = '9';    /* 正常访问 */
        printf("访问一页大小内存地址\n");
        p_map[pagesize - 1] = '9'; /* 正常访问 */
        printf("访问超过一页大小内存地址\n");
        p_map[pagesize] = '9'; /* 导致总线错误 */
        printf("访问映射大小内存地址\n");
        p_map[len - 1] = '9'; /* 导致总线错误 */
    } else if(size > pagesize) { //文件大小大于一页大小
        printf("文件大小大于一页大小\n");
        printf("访问文件大小内存地址\n");
        p_map[size] = '9';    /* 正常访问 */
        printf("访问一页大小内存地址\n");
        p_map[pagesize - 1] = '9'; /* 正常访问 */
        printf("访问超过一页大小内存地址\n");
        p_map[pagesize] = '9'; /* 正常访问 */
        printf("访问映射大小内存地址\n");
        p_map[len - 1] = '9'; /*  正常访问 */
    } else { //文件大小等于一页大小
        printf("文件大小等于一页大小\n");
        printf("访问文件大小内存地址\n");
        p_map[size] = '9';    /* 导致总线错误 */
        printf("访问一页大小内存地址\n");
        p_map[pagesize - 1] = '9'; /* 正常访问 */
        printf("访问超过一页大小内存地址\n");
        p_map[pagesize] = '9'; /* 导致总线错误 */
        printf("访问映射大小内存地址\n");
        p_map[len - 1] = '9'; /*  导致总线错误 */
    }

    munmap (p_map, len);

    return 0;
}

编译：
$ gcc -c lianxi3.c
链接:
$ gcc -o out3 lianxi3.o
执行, 参数为一个文件全路径。例如在/tmp下创建h三个文件，分别对应文件大小大于一页内存大小的dayu.txt,文件大小小于一页内存大小的xiaoyu.txt, 文件大小等于一页内存大小的dengyu.txt:
$ ./out3 dayu.txt
$ ./out3 xiaoyu.txt
$ ./out3 dengyu.txt

修改代码中的测试用例，多次编译、链接、执行。

本文实例代码在github上: https://github.com/lansheng22...

linux内存管理——mmap函数详解

相关推荐