Как параллельно и эффективно читать файлы TFRecord в TensorFlow из удаленной файловой системы HDFS - PullRequest
0 голосов
/ 01 октября 2018

Я читаю файлы данных TFRecords из удаленной файловой системы HDFS через API tf.data.TFRecordDataset в TensorFlow.Однако, когда я увеличиваю num_parallel_reads, скажем, с 1 до 32, я не только не вижу улучшения в скорости чтения, но и вижу, что чтение данных занимает больше времени.Есть ли какие-либо советы, как правильно установить num_parallel_reads для повышения производительности?Я знаю, что tf.data.TFRecordDataset использует параллельные чередования, которые должны быть хорошими.

...