1 минута Сервисный тайм-аут для моделей AMLS, развернутых на ACI или AKS

Question

Мы создали модель оценки изображений в Службе машинного обучения и развернули ее с помощью портала AMLS на ACI и AKS.Несмотря на то, что он работает на небольших изображениях, для больших изображений время ожидания истекает ровно через 1 минуту как для ACI, так и для AKS.Ожидается, что оценка изображений может занять несколько минут.

Хотели бы узнать, является ли ограничение на использование развертывания AMLS или на ACI и AKS, что они превышают время развертывания веб-службы через 60 секунд ??Любой обходной путь будет приветствоваться

Ошибка ACI: - Пост http://localhost:5001/score: net / http: запрос отменен (клиент превысил время ожидания в ожидании заголовков)

Ошибка AKS: - Реплика закрыла соединениеперед ответом

Answer 1

В классе развертывания есть настройка времени ожидания, которую можно изменить в конструкторе, что может помочь.В любом случае время ожидания некоторых клиентов истекает.

https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.webservice.aks.aksservicedeploymentconfiguration?view=azure-ml-py

scoring_timeout_ms : int => Тайм-аут для принудительной оценки вызовов этой веб-службы.По умолчанию 60000