TL; DR
На самом деле все наоборот.Расчеты с более высокой точностью менее желательны для таких структур, как TensorFlow.Это связано с более медленным обучением и большими моделями (больше памяти и места на диске).
Длинная версия
Нейронные сети фактически выигрывают от использования представлений с более низкой точностью. Эта статья является хорошим введением в тему.
Ключевым выводом нашего исследования является то, что глубокие нейронные сети могут быть обучены с использованием арифметики с фиксированной точкой с низкой точностью, при условии, чтосхема стохастического округления применяется при работе с числами с фиксированной запятой.
В них используется 16-разрядное число с фиксированной запятой, а не 32-разрядное число с плавающей точкой прецессии (более подробная информация об их разности здесь ).
Следующее изображение было взято из этой бумаги.Он показывает тестовую ошибку для различных схем округления, а также количество битов, выделенных для целочисленной части представления с фиксированной точкой.Как видите, сплошные красная и синяя линии (16-битные фиксированные) имеют ошибку, очень схожую с черной линией (32-битное с плавающей запятой).
Основным преимуществом / движущей силой снижения точности является вычислительная стоимость и хранение весов.Таким образом, высокоточные аппаратные средства не дадут достаточного увеличения точности, чтобы компенсировать затраты на более медленные вычисления.
Подобные исследования, как я полагаю, являются большой движущей силой спецификаций аппаратного обеспечения для нейронной сети, такого как Новый ТПУ Google .Несмотря на то, что большинство графических процессоров не поддерживают 16-битные операции с плавающей запятой, тем не менее, Google работает над его поддержкой .