Задержка в ответ от модели Tensorflow, развернутой в Kubernetes

Question

Как улучшить время отклика для модели, развернутой в Kubernetes?

Я получаю время отклика 0,18 сек из модели localhost Tensorlfow, тогда как та же модель, размещенная в кластере Kubenetes, дает мне время отклика 4 сек.

Kubernetes Cluster - я создал простую модель развертывания и обслуживания для хоста. Для этого развертывания существует только один активный узел.

Любая помощь очень ценится. Спасибо

Answer 1

Это нормальное поведение, когда задержка ответа в кластере Kubernets выше.Основной целью Kubernetes является управление ресурсами.

Скорость прогнозирования напрямую связана со стоимостью обслуживания, поскольку она напрямую связана с количеством вычислительных ресурсов, необходимых для прогнозирования.Время, необходимое для создания прогноза, всегда будет критической переменной в любой формуле, которая измеряет пропускную способность прогнозирования.Более быстрые прогнозы означают большую пропускную способность прогнозирования на том же оборудовании, что приводит к снижению затрат.

Больше информации вы можете найти здесь: тензор-производительность .

Надеюсь, это поможет.