Предварительная обработка n файлов одновременно с API tf.data

Question

Я хочу использовать tf.data.experimental.parallel_interleave для одновременной предварительной обработки n файлов.cycle_length аргумент используется для этой цели, но каково максимальное значение этого аргумента?Мой процессор имеет 8 ядер и 16 потоков.

Answer 1

Согласно официальным документам на tf.data.experimental.parallel_interleave

В отличие от tf.data.Dataset.interleave, он получает элементы из cycle_length вложенные наборы данных параллельно

и

cycle_length: количество входных наборов данных для чередования в параллельны друг другу.

Таким образом, разумным аргументом будет число элементов набора данных, которые будут обрабатываться параллельно. Таким образом, он не имеет отношения к ядрам / потокам процессора