Более высокая точность с плавающей точкой и машинное обучение

Question

Я обнаружил во многих исследовательских работах, что алгоритмы машинного обучения (и, в частности, CNN / DNN) на самом деле очень устойчивы к ошибкам, т. Е. Могут выдерживать серьезные числовые ошибки, вплоть до очень приемлемого качества результатов и точности. может быть получено с помощью 8-битных и даже суббайтовых целочисленных вычислительных операторов. Например, некоторые исследовательские работы демонстрируют, что можно получить хорошие результаты с 4-битными модулями Integer MA C, что делает блоки с плавающей запятой совершенно бесполезными для таких приложений.

Мой вопрос о Floating- Точка, где вы думаете, это действительно обязательно? находится ли оно в каких-либо поддоменах машинного обучения / искусственного интеллекта? или это действительно игра общего и научного характера c? Любые указатели на некоторые полезные приложения / тесты / платформы, которые действительно нуждаются в этом и полагаются на него?

Answer 1

Это проектное решение, принимаемое между float / int и числом битов. Хороший способ принять это решение - провести квантование модели после обучения, а затем посмотреть, как это меняет точность модели и улучшение производительности. Если в пределах приемлемого уровня падения точности имеется достаточное улучшение производительности, квантование может быть добавлено в качестве этапа последующей обработки к процессу генерации модели.

Этот подход не ограничивается только научными c вычислениями или любыми конкретными c полями. Модель распознавания исходного изображения была квантована, чтобы иметь в 4 раза лучшую производительность для времени прогнозирования Сказав это, наблюдается более широкое применение квантования в моделях, развернутых на периферийных устройствах, таких как Jetson или приложение Tensforflow-Lite

Хорошая отправная точка: Квантование после обучения Tensorflow

Ниже приведен тест от здесь