Самый быстрый формат файла для сохранения и загрузки матриц в Octave?

Question

У меня есть матрица размером около 11 000 x 1000, сохраненная в формате CSV. Загрузка занимает целую вечность.

Какой самый быстрый (или рекомендуемый) формат для сохранения матриц?

Answer 1

Не забудьте опцию -binary.Например,

save -binary myfile.mat X Y Z;  % save X, Y, and Z matrices to myfile.mat
load myfile.mat;                % load X, Y, and Z matrices from myfile.mat

Когда я забыл использовать опцию -binary, моя матрица двойных 80 000 x 402 загружалась более 22 минут.С опцией -binary это заняло менее 2,5 секунд.

Answer 2

Откуда поступают данные?

Когда я учился в аспирантуре, я генерировал данные моделирования и результаты в программе на C ++. Поскольку я владел данными, я написал подпрограмму для записи данных матрицы в двоичном формате, ожидаемом Octave --- и считывание которого выполняется довольно быстро, поскольку оно становится единичным fread звонок.