API обнаружения объектов TF смешанной точности

Question

Я использую API обнаружения объектов TensorFlow для обучения модели обнаружения на графическом процессоре V100. Так как у него есть доступные тензорные ядра, есть ли какой-либо флаг конфигурации / kwarg для включения обучения смешанной точности? Не уверен, если это текущая функция или нет. Нечто похожее на model_main.py --mixed было бы замечательно, если бы оно существовало.

Answer 1

Вчера (16 мая) Nvidia продемонстрировала Automatic Mixed Precision, которая значительно облегчает реализацию этой функции, значительно сокращая усилия: добавьте одну строку кода и вуаля !!!.

Похоже, что веб-трансляция была записана и будет доступна по запросу, здесь ссылки тем временем:

https://developer.nvidia.com/automatic-mixed-precision

https://devblogs.nvidia.com/nvidia-automatic-mixed-precision-tensorflow/

Также рассказывается о стратегиях, инструментах и ​​вещах, которых следует избегать при реализации MP / AMP.

Есть отличная статья, в которой говорится о реализации (среди прочего) Смешанной точности. Я подготовил это 4-минутное видео, в котором кратко изложены результаты исследования «Суперзаряд ИИ с высокопроизводительными распределенными вычислениями»

http://youtu.be/JvssZESVcjI)

Кстати, согласно Nvidia MP может быть эффективно реализована на графических процессорах Volta и Turing (т. Е. Google Collab использует Voltas V100!) И AMP (автоматическая смешанная точность интегрирована в TF1.14)