Очень большие матрицы с использованием Python и NumPy

Question

NumPy - чрезвычайно полезная библиотека, и благодаря ее использованию я обнаружил, что она способна легко обрабатывать матрицы довольно большого размера (10000 x 10000), но начинает бороться с чем-то гораздо большим ( попытка создать матрицу 50000 х 50000 не удалась). Очевидно, это связано с большими требованиями к памяти.

Есть ли способ каким-то образом создать огромные матрицы в NumPy (скажем, 1 на 1 миллион) (без использования нескольких терабайт ОЗУ)?

Answer 1

Обычно, когда мы имеем дело с большими матрицами, мы реализуем их как Разреженные матрицы .

Я не знаю, поддерживает ли numpy разреженные матрицы, но вместо этого нашел this .