TF lite модель работает хуже при использовании Android NNAPI

Question

Я тестирую различные модели tenorflow-lite, используя TFLite Model Benchmark Tool 1 , на Xiaomi MI9.Я заметил, что многие модели работают хуже, когда я включаю вывод в API-интерфейсе Neural Network для Android.

Какие могут быть причины того, что модель работает хуже с использованием NNAPI?

Я предполагаю, что моделислишком большие не могут быть должным образом выполнены на сопроцессоре телефона и должны отправлять данные назад и вперед в ЦП.

Answer 1

Наиболее вероятная причина в теме, предложенной Алексом, особенно если вы наблюдаете это для хорошо протестированных стандартных моделей, таких как Mobilenet.