У меня есть модель обнаружения объектов TensorFlow, обслуживаемая TensorFlow и развернутая в кластере Azure Kubernetes. Я использовал устройство с графическим процессором Nvidia K80, с TensorFlow / Обслуживание: 1.12.3: версия GPU.
Модель развернута и отвечает правильно, но время отклика огромно, 3-4 секунды для изображений размером 500 * 375 - 135 КБ.
Может кто-нибудь помочь мне понять, что можно улучшить