Чем отличается TFServing от KFServing в KubeFlow

Question

TFServin и KFServing развертывают модель в Kubeflow и позволяют пользователям легко использовать модель в качестве службы, не нужно подробно знать о Kubernetes, скрывая инфра-слои.

• TFServing от TensorFlow, он также может работать на Kubeflow или автономно. TFserving на kubeflow

• KFServing от Kubeflow, который может поддерживать несколько фреймворков, таких как PyTorch, TensorFlow, M XNet и др. c. KFServing

Мой вопрос - в чем главное различие между этими двумя проектами?

Если я хочу запустить свою модель в производство, что я должен использовать? который имеет лучшую производительность?

Answer 1

KFServing - это абстракция поверх логического вывода, а не замена. Он стремится упростить развертывание и сделать вывод клиентов зависимым c от того, какой сервер вывода выполняет фактическую работу за кулисами (будь то TF Serving, Triton (ранее TRT-IS), Seldon и др. c). Это достигается путем поиска соглашения между поставщиками серверов логического вывода о спецификации логической схемы, которая позволяет дополнительным компонентам (таким как преобразования и объяснители) быть более подключаемыми.