Как boost :: interprocess :: managed_mapped_file может содержать вектор elasti c? - PullRequest
Новая
       4

Как boost :: interprocess :: managed_mapped_file может содержать вектор elasti c?

0 голосов
/ 09 января 2020

Насколько я понимаю, этот код может хранить вектор в файле. 

using Alloc = boost::interprocess::allocator<int32_t, boost::interprocess::managed_mapped_file::segment_manager>;
using Vec = boost::interprocess::vector<int32_t, Alloc>;

void f() {
    boost::interprocess::managed_mapped_file seg(boost::interprocess::open_or_create, "data.dat", 1024);
    auto vec = seg.find_or_construct<Vec>("vec")(seg.get_segment_manager());

    // ......
}

Однако, когда вектор пытается получить слишком много байтов, он выдает bad_alloc исключение.

Я не могу предсказать, сколько байтов требуется, поэтому я придумал увеличивать файл, когда free_memory уменьшается. Однако иногда происходит сбой утверждения при росте.
Вот минимальный код. 

using Alloc = allocator<int32_t, managed_mapped_file::segment_manager>;
using Vec = vector<int32_t, Alloc>;

void test(int, int);
int main()
{   
    test(4096, 4); // Change this value if not reproduced
    return 0;
}

void test(int initialBytes, int extraBytes) {
    fprintf(stderr, "test(%d, %d)\n", initialBytes, extraBytes);

    remove("data.dat");

    auto seg = make_unique<managed_mapped_file>(open_or_create, "data.dat", initialBytes);
    auto vec = seg->find_or_construct<Vec>("vec")(seg->get_segment_manager());
    fprintf(stderr, "vec->capacity=%ld\n", vec->capacity());
    fprintf(stderr, "seg.get_free_memory()=%ld\n\n", seg->get_free_memory());

    seg = nullptr;
    fprintf(stderr, "tag1\n");
    boost::interprocess::managed_mapped_file::grow("data.dat", extraBytes);

    fprintf(stderr, "tag2\n");
    seg = make_unique<managed_mapped_file>(open_only, "data.dat");

    fprintf(stderr, "tag3\n");
    vec = seg->find<Vec>("vec").first;

    fprintf(stderr, "tag4\n");

    fprintf(stderr, "vec->capacity=%ld\n", vec->capacity());
    fprintf(stderr, "seg.get_free_memory()=%ld\n\n", seg->get_free_memory());

}

Еще меньше 

void test(int initialBytes, int extraBytes) {
    remove("data.dat");
    auto seg = std::make_unique<managed_mapped_file>(open_or_create, "data.dat", initialBytes);
    seg = nullptr;
    managed_mapped_file::grow("data.dat", extraBytes);
}

Задайте вопрос: Как я могу хранить вектор elasti c, не предполагая максимума размер?

Я неправильно понял grow - это функция c. Поэтому я исправил код. Все еще не подтверждается утверждение.

Я обнаружил, что утверждение не удалось, когда 4 <= extraBytes && extraBytes < 24

1 Ответ

1 голос
/ 09 января 2020

Вы можете увидеть рабочий пример ниже. Эта программа создает небольшой отображенный файл памяти, создает векторный контейнер и затем заполняет вектор push_back. Если сделать следующий push_back невозможно, управление передается блоку catch. В этом блоке файл закрывается, вызывается функция grow, открывается отображенный в память файл, создается вектор, и push_back повторяется. 

#include <iostream>
#define BOOST_DATE_TIME_NO_LIB
#include <boost/interprocess/managed_mapped_file.hpp>
#include <boost/interprocess/file_mapping.hpp>
#include <boost/interprocess/containers/vector.hpp>
#include <boost/interprocess/allocators/allocator.hpp>
#include <string>

namespace IP = boost::interprocess;
template <typename T> using MyVectorT = IP::vector < T, IP::allocator<T, IP::managed_mapped_file::segment_manager>>;

int main(int )
{
    const char *FileName = "file.bin";
    const std::size_t FileSize = 1000;
    using MyVector = MyVectorT<size_t>;
    try
    {
        IP::remove_file_on_destroy tmp{ FileName };
        IP::managed_mapped_file segment(IP::create_only
            , FileName      //Mapped file name
            , FileSize);    //Mapped file initial size

        MyVector *myvector = segment.construct<MyVector>("MyVector")(segment.get_segment_manager());
        for (size_t i = 0; i < 100000; ++i)  //Insert data in the vector
        {
            bool push_failure = true;
            do
            {
                try
                {
                    myvector->push_back(i);
                    push_failure = false;       //success of push_back
                }
                catch (const IP::bad_alloc &)   //memory mapped file is too small for vector
                {
                    const size_t grow_size = std::max<size_t>(FileSize, 2 * (myvector->size() + 1) * sizeof(MyVector::value_type));   //estimate memory for new vector capacity
                    std::cout << "segment size = " << segment.get_size() << " Vector capacity = " << myvector->capacity() << " grow_size = " << grow_size;
                    //free memory mapped file
                    segment.flush();    
                    segment.~basic_managed_mapped_file();
                    IP::managed_mapped_file::grow(FileName, grow_size);
                    new (&segment) IP::managed_mapped_file(IP::open_only, FileName);
                    std::cout << " -> new segment size = " << segment.get_size() << std::endl;
                    myvector = segment.find<MyVector>("MyVector").first;
                    push_failure = true;        //try push_back again!!!
                }
            } while (push_failure);
        }
        std::cout << "Vector size =" << myvector->size() << "\n";
        for (size_t i = 0; i < 100000; ++i)
        {
            if ((*myvector)[i] != i)
            {
                std::cout << "vector error!!! i = " << i << " vector[i] = " << (*myvector)[i] << std::endl;
            }
        }
    }
    catch (const std::exception &e)
    {
        std::cout << "Error " << e.what() << std::endl;
    }
    catch (...)
    {
        std::cout << "Error";
    }
    return 0;
}
...