Я бы сказал, что лучше всего использовать библиотеку numpy . Это самый быстрый с точки зрения матричных вычислений для Python.
Для сохранения матрицы для последующего использования вы можете использовать pickle , чтобы сериализовать ее в двоичном виде, или просто записать ее в csv в виде простого текста. Вы также можете использовать функцию numpy save , чтобы сохранить матрицу для последующего использования, что, вероятно, также быстро.