У меня есть модель (основанная на Mask_RCNN), которую я экспортировал в исправный объект.Я могу запустить его с локальной службой tf в контейнере Docker на моем MacBook Pro, и с помощью json API он ответит через 15-20 секунд, что не быстро, но я не ожидал, что это произойдет.
Я пытался обслуживать его на различных машинах AWS, основанных на DLAMI, а также пробовал некоторые AMI Ubuntu, в частности, используя p2.xlarge с gpu, 4vcpus и 61 ГБ оперативной памяти.Когда я делаю это, та же самая модель отвечает примерно в 90-х годах.Конфигурации идентичны, так как я построил образ докера с моделью внутри него.
Я также получаю тайм-аут, используя пример AWS здесь: https://docs.aws.amazon.com/dlami/latest/devguide/tutorial-tfserving.html
Кто-нибудь еще испытывал что-либо подобноек этому или есть какие-либо идеи о том, как я могу исправить или изолировать проблему?