Я работаю над mmap-allocator, который позволяет векторам использовать память из
файл с отображением в памяти. Цель состоит в том, чтобы иметь векторы, которые используют хранилище, которое
находятся непосредственно в виртуальной памяти, отображаемой с помощью mmap. Наша проблема заключается в
улучшить чтение действительно больших файлов (> 10 ГБ) в память без копирования
накладные расходы, поэтому мне нужен этот пользовательский распределитель.
Пока у меня есть скелет пользовательского распределителя
(который происходит от std :: allocator), я думаю, что это хороший старт
указать писать собственные распределители. Не стесняйтесь использовать этот кусок кода
любым способом, который вы хотите:
#include <memory>
#include <stdio.h>
namespace mmap_allocator_namespace
{
// See StackOverflow replies to this answer for important commentary about inheriting from std::allocator before replicating this code.
template <typename T>
class mmap_allocator: public std::allocator<T>
{
public:
typedef size_t size_type;
typedef T* pointer;
typedef const T* const_pointer;
template<typename _Tp1>
struct rebind
{
typedef mmap_allocator<_Tp1> other;
};
pointer allocate(size_type n, const void *hint=0)
{
fprintf(stderr, "Alloc %d bytes.\n", n*sizeof(T));
return std::allocator<T>::allocate(n, hint);
}
void deallocate(pointer p, size_type n)
{
fprintf(stderr, "Dealloc %d bytes (%p).\n", n*sizeof(T), p);
return std::allocator<T>::deallocate(p, n);
}
mmap_allocator() throw(): std::allocator<T>() { fprintf(stderr, "Hello allocator!\n"); }
mmap_allocator(const mmap_allocator &a) throw(): std::allocator<T>(a) { }
template <class U>
mmap_allocator(const mmap_allocator<U> &a) throw(): std::allocator<T>(a) { }
~mmap_allocator() throw() { }
};
}
Чтобы использовать это, объявите контейнер STL следующим образом:
using namespace std;
using namespace mmap_allocator_namespace;
vector<int, mmap_allocator<int> > int_vec(1024, 0, mmap_allocator<int>());
Может использоваться, например, для регистрации, когда выделена память. Что необходимо
является структурой перепривязки, в противном случае векторный контейнер использует суперклассы allocate / deallocate
методы.
Обновление: распределитель памяти теперь доступен по адресу https://github.com/johannesthoma/mmap_allocator и является LGPL. Не стесняйтесь использовать его для своих проектов.