Большие массивы в Юлии

Question

У меня есть массив 10000x10000 в Юлии, скажем A=rand(10000,10000). Как я могу сохранить этот большой массив, чтобы я мог работать с ним в среде IDE, такой как Atom / Juno, выполняя операции с матрицами, детерминанты, собственные значения и так далее? Или даже если я перенесу этот массив в R, это способ работы с этим большим массивом в R?

Answer 1

Если ваши данные разрежены (не у всех ячеек есть значения), вы можете сохранить их как разреженную матрицу, что значительно улучшит объем памяти (см. https://docs.julialang.org/en/v1/stdlib/SparseArrays/).. В зависимости от того, вписывается ли оно в память или нет),элементы матрицы: например, можете ли вы представлять значения с помощью Int8 или вам нужны элементы 64-битной точности? Матрица - это не просто матрица.

В более общем плане, если ваши объекты становятся такимиБольшие они не помещаются в памяти, вы можете записать их на диск и «карту памяти» их, таким образом вы можете использовать матрицы на диске для всего, что вы можете использовать обычную матрицу. Вы можете проверить документацию здесь:https://docs.julialang.org/en/v1/stdlib/Mmap