Мой код будет суммирован как для цикла (M ~ 10 ^ 5-10 ^ 6 итераций) для некоторой функции, которая последовательно создает данные в виде (W, N) - массивы , где W ~ 500 и N ~ 100 , и мне нужно хранить их максимально эффективно. Помимо сохранения данных этой формы, я также хотел бы иметь возможность получить к ним быстрый доступ.
До сих пор я пытался:
- Создание np.empty ((M, W, N)),
- Начиная с массива (W, N) и добавляя данные с помощью np.append, np.vstack, np.hstack.
Итакпока все кажется довольно медленным.
Какой самый быстрый способ справиться с этим? Нужно ли полагаться на сторонние пакеты, такие как Dask? Если да, то к каким?