Может ли Dataset.map каким-то образом распараллелить вызовы tf.py_func? - PullRequest
0 голосов
/ 25 апреля 2018

Как упоминалось в в этом сообщении , Dataset.map не поддерживает параллелизм по сравнению с tf.py_func вызовами в функции карты (часть tf.py_func будет выполняться последовательно).

Есть ли обходной путь для этой проблемы? Очень часто случается, что входные конвейеры требуют сложного потока управления питоном и операций, которые не существуют в тензорном потоке. Раньше я реализовывал собственную очередь и потоки предварительной обработки с использованием библиотек python, но было бы очень удобно делать это с помощью удобных tf.data интерфейсов.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...