У нас есть экземпляр облака (AWS), который настроен для обработки запросов API к модели для классификации больших объемов изображений. Тем не менее, у нас на серверах около 6 карт графического процессора, размещенных внутри , которые в основном простаивают. Мы хотели бы использовать их для обработки потенциального роста потребительского спроса. Наш сервер очередей RabbitMQ
Существует ли архитектура или инструмент, позволяющий справляться с переполнениями / скачками при избыточной емкости? Все предложения / идеи очень приветствуются.