Я прочитал https://www.tensorflow.org/guide/data_performance#parallelizing_data_extraction, но, тем не менее, я запутался в эффективном конвейере данных, когда речь идет о конкретных c вызовах API.
В частности:
- В функции
__init__
tf.data.TFRecordDataset
есть поле с именем num_parallel_reads
; - В методе
map
tf.data.TFRecordDataset
есть поле с именем num_parallel_calls
; - Также есть метод
interleave
.
Предположим, что мои тренировки ограничены вводом / выводом, как мне объединить эти вещи для максимизации данных пропускная способность? Перечисленные выше вещи перекрываются с точки зрения функциональности?
Спасибо!