Как использовать tfrecord с pytorch?
Я скачал наборы данных Youtube8M с функциями уровня видео, но он хранится в tfrecord.
Я попытался прочитать образец из этого файла, чтобы преобразовать его в numpy, а затем загрузить в pytorch. Но это не удалось.
reader = YT8MAggregatedFeatureReader()
files = tf.gfile.Glob("/Data/youtube8m/train*.tfrecord")
filename_queue = tf.train.string_input_producer(
files, num_epochs=5, shuffle=True)
training_data = [
reader.prepare_reader(filename_queue) for _ in range(1)
]
unused_video_id, model_input_raw, labels_batch, num_frames = tf.train.shuffle_batch_join(
training_data,
batch_size=1024,
capacity=1024 * 5,
min_after_dequeue=1024,
allow_smaller_final_batch=True ,
enqueue_many=True)
with tf.Session() as sess:
label_numpy = labels_batch.eval()
print(type(label_numpy))
Но у этого шага нет результата, он просто застрял надолго без ответа.