Обслуживание модели искусственного интеллекта на производстве в облаке, как минимизировать затраты? - PullRequest
0 голосов
/ 16 января 2020

Я использую модель AI (Panopti c сегментация FPN R101, но может быть любой другой), и мне нужно, чтобы она была развернута в облаке для использования приложением в качестве службы. В настоящее время я размещаю его на AWS на экземпляре EC2, но арендовать его на GPU очень дорого (экземпляры p2). Я должен держать его все время включенным, даже когда модель не используется. Кроме того, если нагрузка высока, сервис очень легко понизится, поскольку он может обрабатывать только один запрос за раз. Есть ли какая-либо альтернатива на AWS или любом другом сервисе, которая позволит вам использовать вашу модель ИИ для вывода на основе платы за использование? Спасибо

1 Ответ

0 голосов
/ 16 января 2020

AWS sagemaker лучше всего подходит для развертывания модели AI.

AWS автоматическое масштабирование поддержки sagemaker, чтобы помочь вам масштабировать ваше приложение.

Если графический процессор не требуется, лямбда-опция является опцией тоже

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...