Изменение размера общей памяти mmap с помощью mremap завершается неудачно - PullRequest
Новая
       37

Изменение размера общей памяти mmap с помощью mremap завершается неудачно

1 голос
/ 06 июня 2019

Я работаю над проектом, в котором мне нужно разделить большой массив std :: пар между процессами, созданными с помощью API fork ().Размер массива неизвестен в начале программы.Позже родительский процесс будет связываться с дочерними процессами, чтобы определить размер массива.Затем он изменит размер разделяемой памяти, вызвав mremap () API.Мне пока не повезло в использовании mmap и mremap.Мне кажется, что mremap () завершается ошибкой, когда новый размер становится больше 4096 байт (размер страницы системы?).

Я создал небольшой пример, чтобы помочь мне лучше понять проблему.Этот код создает общую память с помощью mmap (), а затем увеличивает ее размер с помощью mremap за несколько шагов.В этом примере есть только один процесс.Я также округляю размер запрошенной разделяемой памяти до 4096 байт.

#include <iostream>
#include <sys/types.h> /* pid_t */
#include <sys/wait.h>
#include <unistd.h>  /* _exit, fork */
#include <stdlib.h>  /* exit */
#include <errno.h>   /* errno */
#include <time.h>       /* time */
#include <sys/mman.h>
#include <vector>
#include <map>
#include <string.h>
#include  <sys/ipc.h>
#include  <sys/shm.h>
#define page_size 4096
#define def_size  32

void write_shmem (long *shm_ptr, long npt)
{
    for (long pt = 0; pt < npt ; ++pt)
    {
        shm_ptr[pt] = 77;
        //std::cout << "shm_ptr[" << pt << "] = " <<  shm_ptr[pt] << "\n";
    }
}

long read_shmem (long *shm_ptr, long npt)
{
    long bad_indx = -1;
    for (long pt = 0; pt < npt ; ++pt)
    {
        if (shm_ptr[pt] != 77)
        {
            bad_indx = pt;
            break;
        }
    }
    return bad_indx;
}

int main ()
{

    void * add;
    long *shm_arcs;
    long padding = 0;
    long init_shmem_size = sizeof (long) *def_size;
    long resid = init_shmem_size % page_size;
    if (resid!=0) padding = page_size  - (init_shmem_size % page_size);
    //std::cout << " requested " << init_shmem_size << " bytes, translated to " << padding+init_shmem_size << "\n";
    init_shmem_size +=padding;
    add = mmap(NULL, init_shmem_size, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0); // initial size is set to npt.
    if (add == MAP_FAILED)
    {
        std::cout << "Mapped failed at parent \n";
        exit(-1);
    }
    shm_arcs = (long *) add;
    write_shmem (shm_arcs, def_size);
    long bd = read_shmem (shm_arcs, def_size);

    if (bd!=-1)
    {
        std::cout << "Shmem test failed at " << bd << "\n";
        exit(-1);
    }

    std::cout<<"Parent: shared memory is created and verified at address " << shm_arcs <<" data size: " << init_shmem_size << ".\n ";


    long *shm_new = shm_arcs;
    long nsize = def_size;
    for (int i = 0; i< 1000; i ++)
    {
        nsize += def_size;
        long bsize = nsize*sizeof(long);
        if ((bsize % page_size)!=0) padding = page_size  - (bsize % page_size);
        else padding = 0;
        //std::cout << nsize << " elements requested " << bsize << " bytes, translated to " << padding+bsize << "\n";
        bsize+=padding;
        add = mremap(shm_new, init_shmem_size, bsize , MREMAP_MAYMOVE);
        if (add != shm_new)
        {
            std::cout << "Old mem unmapped ---------------";
            munmap(shm_new, init_shmem_size);
        }
        if (add == MAP_FAILED)
        {
            std::cout << "Mapped failed at parent  at " << i << "\n";
            exit(-1);
        }
        shm_new = (long *) add;

        write_shmem (shm_new, nsize);
        long bd = read_shmem (shm_arcs, nsize);
        if (bd!=-1)
        {
            std::cout << "Shmem test failed at " << bd << "\n";
            exit(-1);
        }

        std::cout<< i << " - Parent: shared memory is created and verified at address " << shm_new <<" with " << nsize << " elements, data size : " << bsize <<  ".\n ";

        init_shmem_size = bsize;
    }
    return 0;
}

Это вывод кода: Родитель: общая память создается и проверяется по адресу 0x7f00ae91b000, размер данных: 4096. 

0 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 64 elements, data size : 4096.
 1 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 96 elements, data size : 4096.
 2 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 128 elements, data size : 4096.
 3 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 160 elements, data size : 4096.
 4 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 192 elements, data size : 4096.
 5 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 224 elements, data size : 4096.
 6 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 256 elements, data size : 4096.
 7 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 288 elements, data size : 4096.
 8 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 320 elements, data size : 4096.
 9 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 352 elements, data size : 4096.
10 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 384 elements, data size : 4096.
11 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 416 elements, data size : 4096.
12 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 448 elements, data size : 4096.
13 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 480 elements, data size : 4096.
14 - Parent: shared memory is created and verified at address 0x7f00ae91b000 with 512 elements, data size : 4096.
Bus error

Я запускаю ее в Linux.Что я здесь не так делаю?Если это не лучший способ сделать это, я признателен, если бы вы могли указать лучший способ?

Спасибо

1 Ответ

0 голосов
/ 24 июня 2019

Вы не должны пытаться удалить старые адреса после mremap, так как они уже не отображены и могут перекрываться с новым диапазоном адресов. Ваше сообщение «Старый адрес не отображен» не будет напечатано, поскольку cout буферизуется, и процесс умирает до сброса буфера.

...