Добавление массивов в текстовый файл

Question

У меня есть функция, которая возвращает двумерный массив Numpy, и эта функция будет внутри цикла. На каждой итерации я хочу добавить этот массив в файл.

filename = "xyz"
for i in range(10):
      np_array = function_to_get_numpy()
      now append this `np_array` into filename

Я могу продолжать добавлять массив numpy в скрипт и делать дамп один раз, но я хочу этого избежать.

Также я бы предпочел хранить это в недвоичном формате.

Answer 1

In [64]: with open('xyz','w') as f:
    ...:     for n in range(1,4):
    ...:         arr = np.arange(n*n).reshape(n,n)
    ...:         np.savetxt(f, arr, fmt='%5d', delimiter=',')
    ...:         
In [65]: cat xyz
    0
    0,    1
    2,    3
    0,    1,    2
    3,    4,    5
    6,    7,    8

Если количество столбцов меняется, как и здесь, его будет сложно прочитать. csv читателям как genfromtxt это не понравится.

Если количество столбцов одинаково, его можно загрузить как один большой массив. Разделение записей и их перезагрузка возможны, но более сложны.

Answer 2

Я воспользуюсь возможностью подключить nppretty, симпатичный принтер для numpy, над которым я работал. Он предоставляет класс ArrayStream, который, я думаю, будет делать именно то, что вам нужно.

Установить nppretty с:

pip install nppretty

Вы можете использовать ArrayStream так же, как файловый объект. Например, этот код:

from nppretty import ArrayStream
import numpy as np

arrstr = ArrayStream('arraystream.txt', name='arr2D')
for i in range(10):
    arr = np.arange(10*i, 10*(i + 1))
    arrstr.write(arr.reshape(2,5))
arrstr.close()

создаст текстовый файл с именем arraystream.txt со следующим содержимым:

arr2D = [
[0, 1, 2, 3, 4],
[5, 6, 7, 8, 9],
[10, 11, 12, 13, 14],
[15, 16, 17, 18, 19],
[20, 21, 22, 23, 24],
[25, 26, 27, 28, 29],
[30, 31, 32, 33, 34],
[35, 36, 37, 38, 39],
[40, 41, 42, 43, 44],
[45, 46, 47, 48, 49],
[50, 51, 52, 53, 54],
[55, 56, 57, 58, 59],
[60, 61, 62, 63, 64],
[65, 66, 67, 68, 69],
[70, 71, 72, 73, 74],
[75, 76, 77, 78, 79],
[80, 81, 82, 83, 84],
[85, 86, 87, 88, 89],
[90, 91, 92, 93, 94],
[95, 96, 97, 98, 99],
]

Примечания к ArrayStream

ArrayStream принимает все те же аргументы, что и стандартный метод Python open. Еще одно ключевое слово arg - name, которое задает имя массива в файле (name по умолчанию равно "array", если оставить пустым). Так же, как объект файла, возвращаемый при вызове open, экземпляр ArrayStream может использоваться в операторе with. Например, следующий код выдаст тот же вывод, что и выше:

with ArrayStream('arraystream.txt', name='arr2D') as f:
    for i in range(10):
        arr = np.arange(10*i, 10*(i + 1))
        f.write(arr.reshape(2,5))