Как создать большой вектор со случайными числами, используя numpy и MPI

Question

Я хочу создать вектор с sitze 10 ^ 15 с numpy и MPI.

Понятия не имею, с чего начать. Я пытался использовать

v = np.random.rand(10**15,1)

, но он превышает мою память.

Answer 1

Вы не можете. Это тысячи терабайт данных, слишком много даже для хранения на диске. Рассмотрите возможность изменения вашей программы, чтобы уменьшить объем данных или итеративно обрабатывать данные.

Answer 2

Массивы Dask координируют множество Numpy массивов, организованных в блоки внутри сетки. Они поддерживают большую часть API Numpy.

Вызов .compute (), если вы хотите получить результат в виде массива NumPy.

%%time
import dask.array as da
answer_sum = da.random.random((10**15)).sum().compute()
answer_mean = da.random.random((10**15)).mean().compute()
print(answer_sum)
print(answer_mean )

Источник: https://examples.dask.org/array.html#Create -Random-array