Время работы модели может сильно различаться на разных устройствах Android при использовании TensorFlow-Lite из-за разной вычислительной мощности

Question

При использовании TFLite для запуска модели NN на устройствах Android, существует слишком много устройств Android, разные устройства имеют разную вычислительную производительность. Поэтому сложно использовать одну модель для всех устройств.

Одним из решений является использование моделей с разными FLOP для разных устройств на основе computing capacity устройства.

Однако в TFLite нет API для получения computing capacity. Поэтому мне интересно, как справиться с ситуацией.

Answer 1

В настоящее время нет убедительной истории для этого. Одна вещь, которую вы могли бы рассмотреть, - это запуск моделей с плавающей запятой на мощных устройствах, но квантованных моделей (с точностью до точности) на менее производительных. Однако это супер руководство, поскольку, как вы сказали, в tflite нет API для получения вычислительной мощности.