Как я могу масштабировать конечную точку Sagemaker?

Question

Я развернул модель sklearn в AWS Sagemaker, используя метод sklearn.deploy для автоматического масштабирования конечной точки. Я установил следующую конфигурацию:

Target value for number of requests: 25
Scale out cool time: 30 sec
Scale in cool time: 20 sec

После получения 25+ запросов развертывается новый экземпляр. Но после этого, даже когда я не отправляю новые запросы на конечную точку, масштаб автоматически не уменьшается.

Почему не уменьшается масштаб?

Как сделать так, чтобы оно автоматически уменьшалось при отсутствии новых запросов в течение фиксированного интервала времени.

Answer 1

На момент написания этого сообщения SageMaker не будет уменьшен до 0.

You must also specify the minimum number of instances for the model. This value must be at least 1, and equal to or less than the value specified for the maximum number of endpoint instances.

Источник: https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-prerequisites.html