Размер записи тензорного потока очень велик - 100 ГБ, в нем хранится 1000 мини-пакетов.
Но мне понадобится 10000 мини-партий.
Если запись тензорного потока создается во время работы программы, заменяя старую запись тензорного потока, как я могу поместить вновь созданную запись в очередь?
Нужно ли иметь все записи тензорного потока перед запуском кода тензорного потока, или я могу передать одну за другой, создавая каждую из них, когда последняя закончена?
# Writing to a tf.record.
result_tf_file = file_path_prefix + '.tfrecords'
writer = tf.python_io.TFRecordWriter(result_tf_file)
# Create feature
features = tf.train.Features(feature=d_feature)
example = tf.train.Example(features=features)
serialized = example.SerializeToString()
writer.write(serialized)
# For Initializing the tf.record.
dataset = tf.data.TFRecordDataset([file_name_tf])
dataset = dataset.map(m)
dataset = dataset.batch(1)
dataset = dataset.shuffle(buffer_size=50)
dataset = dataset.repeat(1)
iterator = dataset.make_initializable_iterator()
# Initializing iterator
sess.run(iterator.initializer, feed_dict={file_name_tf: result_tf_file})
Могу ли я инициализировать как
sess.run (iterator.initializer, сериализованный)?