Как записывать данные постепенно на жесткий диск c с TensorFlow 2 - PullRequest
0 голосов
/ 16 марта 2020

На каждом шаге все oop я получаю массив numpy или тензор потока, который мне нужно постепенно сохранять на жестком диске, чтобы у меня не хватало памяти, и если мой код падает, у меня все еще есть дата на жестком диске. Поэтому я ищу что-то вроде:

file = make_the_file_for_saving_data()
for i in range(1e10):
    tensorflow_array = function()
    file.Write_the_array_in_a_new_row_on_disk(tensorflow_array)

Методы, которые я знаю, полностью перезагрузят уже сохраненный загрузочный файл и запишут его с нуля, так что если мой l oop достигнет миллиона, они загрузят файл с миллионами записей и напишет файл с таким количеством записей с нуля, а не просто добавит новую строку внизу.

Кроме того, я особенно заинтересован в том, чтобы сделать это с tenorflow.

Было бы даже лучше, если бы я мог сделать это для разных столбцов независимо, то есть я приказываю написать новую строку для столбца 1 или новую строку в столбце 2.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...