Как Aws Sagemaker обеспечивает среду нескольких экземпляров и балансировку нагрузки для конечных точек

Question

Я успешно развернул ноутбук Jupyter на AWS Sagemaker, И создали конечную точку для прогнозирующего алгоритма (Use Case). Я хотел знать, как создать среду с несколькими экземплярами в AWS Sagemaker и распределить нагрузку для нескольких запросов на конечной точке.

Если вопрос не действителен, пожалуйста, дайте мне знать.

Answer 1

Вы, вероятно, создали свою конечную точку следующим образом:

предсказатель = estimator.deploy (initial_instance_count = 1, instance_type = 'ml.m4.xlarge')

Если вы установили initial_instance_count более чем на 1, SageMaker автоматически назначит это количество экземпляров вашей конечной точке. Запросы прогнозирования будут автоматически сбалансированы по нагрузке, и больше ничего не нужно делать.

При необходимости вы также можете настроить автоматическое масштабирование для обработки изменений трафика: https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html