Поддерживается ли автоматическая смешанная точность tf.keras в Tensorflow Beta 2.0? - PullRequest
Новая
       5

Поддерживается ли автоматическая смешанная точность tf.keras в Tensorflow Beta 2.0?

1 голос
/ 04 июля 2019

Я пытаюсь заставить работать автоматическую смешанную точность Tensorflow (для использования тензорных ядер на RTX 2080 Ti), используя API tf.keras, но я не вижу никакого ускорения в обучении.

Я только что добавил 

os.environ['TF_ENABLE_AUTO_MIXED_PRECISION'] = '1'

в начало скрипта Python.Я также попытался установить для переменной среды значение 1 из командной строки, т. Е. 

export TF_ENABLE_AUTO_MIXED_PRECISION=1

Поддерживается ли AMP в этом случае или модель должна быть реализована в «сыром» Tensorflow?

1 Ответ

0 голосов
/ 04 июля 2019

В настоящее время автоматическая точность смешивания поддерживается только при использовании контейнера Tensorflow Docker от NVIDIA:

https://ngc.nvidia.com/catalog/containers/nvidia:tensorflow

https://www.tensorflow.org/install/docker

Вам необходимо использоватьUbuntu 18.04, текущая версия Ubuntu и Windows не поддерживаются.Последний контейнер Docker имеет TF 1.13, если я не ошибаюсь.После установки tf.keras должен поддерживать автоматическую смешанную точность.

Редактировать:

Я пробовал 2.0.0-бета1 в Windows и также не заметил какого-либо улучшения скорости при использовании автоматической смешанной точности.С контейнером NVIDIA Docker в Linux я увеличил скорость как минимум в 2 раза, установив TF_ENABLE_AUTO_MIXED_PRECISION в 1. Надеюсь, это будет работать в версии 2.0.

...