Я пытаюсь понять, в чем основные различия между инструментами квантования Tensorflow Lite (TFLite) и набором инструментов квантования AI Intel (и Intel OpenVino ).
Насколько я могу судить, оба поддерживают квантование до и после обучения с меньшей точностью. Но я не могу найти тестов, которые сравнивали бы два подхода. Intel просто сравнивает квантованные модели с неквантованными. Несколько сообщений в блогах, которые я видел, в основном посвящены периферийным устройствам.
Контекстом этого является улучшение скорости, размера и задержки модели процессоров Intel. В качестве примера у меня есть модель изображения, я хотел бы ускорить вывод процессора, обслуживая эту модель на типичном экземпляре AWS EC2 C xlarge. Естественно, квантование - один из таких подходов, и мне интересно, есть ли преимущество в использовании алгоритмов квантования Intel перед TFLite. А именно, есть ли какие-то существенные различия между подходами Intel и TFLite в контексте обслуживания ЦП?