Мне нужно запустить в производство модель Tensorflow с простой конечной точкой API. Модель должна быть разделена между процессами / работниками / потоками, чтобы не тратить слишком много ресурсов с точки зрения памяти.
Я уже пытался с несколькими рабочими-оружейниками установить параметр --preload и загрузить модель до определения ресурсов, но через некоторое время я получаю ошибку тайм-аута. Модель не отвечает. Я знаю, что для этой цели существует обслуживающий сервис Tensorflow, но проблема заключается в том, что модель еще не доступна во время развертывания, а конвейер ML состоит из множества различных компонентов (модель Tensorflow является лишь одним из этих компонентов. ). Конечный пользователь (клиент) - это тот, кто обучает / сохраняет модель. (Я использую докер) Заранее спасибо