Производительность Tensorflow против Tensorflow Lite

Question

Есть ли потеря производительности при преобразовании моделей TensorFlow в формат TensorFlow Lite? Потому что я получил эти результаты от разных периферийных устройств:

Имеет ли смысл, что Nvidia Jetson имеет более высокую точность с моделью TensorFlow (TensorRT оптимизирован) при сравнении с моделью Raspberry, которая является моделью TensorFlow Lite.

Answer 1

Обычно наблюдается потеря производительности, но не такая значительная, точнее около 3% точности, например, в некоторых моделях, но вы должны проверить ее самостоятельно, чтобы проверить точность.

Модели, которые подвергаются TensorRT или TensorFlow-Lite, не выполняют go одинаковых точных шагов преобразования (в противном случае они будут одинаковыми). Поэтому очевидно, что разница заметна.

Вывод: выигрыш в скорости по сравнению с потерей производительности (максимум 3%) гораздо важнее. Для каждого допущения должны применяться тесты.

Эта статья также хорошо читается: https://www.hackster.io/news/benchmarking-tensorflow-and-tensorflow-lite-on-the-raspberry-pi-43f51b796796