Обслуживание нескольких моделей глубокого обучения из кластера

Question

Я думал о том, как использовать несколько моделей для использования.В настоящее время я имею дело с тензорным потоком.Я имел в виду эту и эту статью.

Но я не могу найти ни одной статьи, цели которой должны обслуживать несколько моделей распределенным образом. Q.1. Служит ли служба tenorflow обслуживанием моделей с одной машины?Есть ли способ настроить кластер машин, работающих под управлением тензорного потока?Таким образом, несколько машин обслуживают одну и ту же модель, отчасти работая как ведущий и ведомый, или, скажем, балансируют нагрузку между ними, обслуживая разные модели.

Q.2. Существуют ли аналогичные функции для других сред глубокого обученияскажем, keras, mxnet и т. д. (не ограничиваясь только тензорным потоком и обслуживая модели из разных структур)?

Answer 1

A1 : обслуживание моделей с тензорным потоком в распределенном режиме стало проще с Kubernetes, системой оркестровки контейнеров, которая снимает с вас большую часть проблем, связанных с распределенной системой, включая балансировку нагрузки.Пожалуйста, отметьте обслуживающих кубернетов .

A2 : Конечно, проверьте, например, Предсказание IO .Это не специфическое глубокое изучение, но может использоваться для развертывания моделей, созданных, например, с помощью Spark MLLib.