Как упоминалось в в этом сообщении , Dataset.map
не поддерживает параллелизм по сравнению с tf.py_func
вызовами в функции карты (часть tf.py_func
будет выполняться последовательно).
Есть ли обходной путь для этой проблемы? Очень часто случается, что входные конвейеры требуют сложного потока управления питоном и операций, которые не существуют в тензорном потоке. Раньше я реализовывал собственную очередь и потоки предварительной обработки с использованием библиотек python, но было бы очень удобно делать это с помощью удобных tf.data
интерфейсов.