(для удобства я буду ссылаться на инфраструктуру PyTorch с включенным логическим выводом Elasti c как "PyTorch-EI")
Используете ли вы SageMaker через ноутбук или хостинг? Поддержка ноутбуков SageMaker в настоящее время не выпускается, поэтому нет официальной среды ядра ноутбука / Conda, которую вы можете активировать, которая будет иметь инфраструктуру Pylasch с поддержкой Elasti c Inference. Однако вы можете создать свой собственный, активировав среду pytorch_p36
(которая имеет стандартный PyTorch), удалив PyTorch, а затем установив его с помощью колеса фреймворка PyTorch-EI 1.3.1 - связанного с здесь .
Хостинг SageMaker в настоящее время поддерживает PyTorch-EI из коробки. Если вы в настоящее время используете хостинг SageMaker и у вас есть проблемы, поделитесь некоторыми из своего кода вывода + какой контейнер вы используете. Список контейнеров можно найти по адресу здесь .
Также обратите внимание, что EC2 в настоящее время поддерживает вывод Elasti c через DLAMI v27.0. Имя среды Conda amazonei_pytorch_p36
.