OutOfMemoryException при объявлении большого массива

Question

Мне нужно создать довольно большой двойной массив 12000ish x 55000ish. К сожалению, я получаю исключение нехватки памяти. Раньше я разрабатывал на Java и мог менять настройки памяти. Это возможно с C # или просто невозможно? Я использую VS 2008.

Answer 1

Каждый double составляет 8 байтов, поэтому вы пытаетесь выделить один массив размером чуть более 5 ГБ.CLR имеет ограничение на объект около 2 ГБ IIRC, даже для 64-разрядного CLR.Другими словами, проблема заключается не в общем объеме доступной памяти (хотя, очевидно, у вас будут проблемы, если у вас нет достаточно памяти), а в размере каждого объекта.

Я предлагаю вам разбить его на более мелкие массивы, возможно, за фасадом какого-то описания.Я не верю, что есть какой-то способ обойти это ограничение для одного массива.

РЕДАКТИРОВАТЬ: Вы могли бы перейти на массив массивов - так называемый зубчатый массив :

double[][] array = new double[12000][];
for (int i = 0; i < array.Length; i++)
{
    array[i] = new double[55000];
}

Это было бы приемлемо для вас?

(Вы не можете использовать прямоугольный массив (double[,]), так как у него будет та же проблема размера объекта).

Answer 2

Поскольку вы не можете создавать объекты размером более 2 ГБ, вы можете попробовать использовать MemoryMappedFile для работы с фрагментом памяти необходимого размера.

var data = MemoryMappedFile.CreateNew("big data", 12000L * 55000L);
var view = data.CreateViewAccessor();
var rnd = new Random();

for (var i = 0L; i < 12000L; ++i)
{
    for (var j = 0L; j < 55000L; ++j)
    {
        var input = rnd.NextDouble();
        view.Write<double>(i * 55000L + j, ref input);
    }
}

Answer 3

При условии, что вашей общей памяти достаточно, вы можете предотвратить исключения нехватки памяти, возникающие из-за фрагментации LOH, создав группу меньших массивов и поместив их в один IList<T> или какой-либо другой индексированный интерфейс.

Вот ссылка, которая описывает это:

BigArray<T>, getting around the 2GB array size limit

Кредиты: этот пост (массив C #) .

Answer 4

Что ж, либо у вас недостаточно памяти (закройте некоторые программы), либо вы достигли предела выделения памяти (около 2 ГБ), эта память должна быть непрерывным блоком. Вы можете использовать 64-битную машину, и в этом случае у вас будет больше доступной памяти, или, я думаю, вы сможете сделать большой адрес приложения осведомленным (поиск в Google подскажет вам, как это сделать, если это возможно в этом случае).

Полагаю, вы добавили ключ / 3GB в файл Boot.ini для большей осведомленности об адресе.