Я не уверен, работает ли тензорный поток так же, как любая модель, созданная из scikit learn, работает.Я вставлю свой ответ в ... Надеюсь, что это вам как-то поможет.
У нас была похожая проблема для моей компании.Мы создали модель случайных лесов, которая классифицировала набор входных данных и хотела создать конечную точку, которая будет принимать входные данные и выплевывать классифицированные выходные данные.
Изначально мы обучали случайные леса на отдельном сервере и выбирали модель.
Затем мы сделали 3 попытки (из которых попытка 3 работала лучше всего)
Попытка 1:
Инициализация модели при запуске приложения колбы
Результат: у нас был микро-сервер в облаке aws и мы инициализировали приложение для колб с 8 рабочими.8. Случайный лес.экземпляров.Модель обучалась на м4 большом сервере.Сервер мгновенно вышел из строя.
Попытка2:
Инициализировала модель всякий раз, когда вызывался путь, т. Е. Вызываемый файл модели не был выбран в момент вызова пути.поэтому, если «/ classify» - это путь, модель выбирается не каждый раз, когда вызывается путь, а затем фляга забывает об этом
Результат: лучше.Сервер не вышел из строя.Когда было только один или два пользователя, это работало нормально ... Но это было определенно не масштабируемое решение ... особенно с учетом того, что фляга является синхронной и что-то вроде беспорядков со всем сервером
Попытка3: Созданоотдельный микросервис, который имел только один путь.
Сервер был инициализирован с одним работником.Он был развернут на совершенно другом сервере (с использованием aws lambda).
Результат: стабильные результаты.С очень большими томами, это определенно замедлится (в этот момент вы можете рассмотреть переход на node.js или использование большего количества рабочих)
Надеюсь, это поможет