У меня есть около 10000 файлов маринованных файлов, которые я должен прочитать и передать в тензорную модель для обучения.Я делаю этот процесс в цикле, загружая файл в то время и делаю некоторую предварительную обработку, а затем тренируюсь, используя этот файл, и повторяю.Есть ли более эффективный способ сделать это.Для этой части код выглядит примерно так:
for filename in os.listdir("training_data"):
x = load_data(filename)
#some preprocessing
feed_dict = construct_feed_dictionary(x)
out = sess.run([model.opt_op, model.loss, model.accuracy],feed_dict=feed_dict)