Google AI модель, обслуживающая vs kfsering - PullRequest
Новая
       104

Google AI модель, обслуживающая vs kfsering

1 голос
/ 16 апреля 2020

Мы собираемся сделать модель обслуживания инфраструктуры. Я сравниваю Google AI Prediction и kfserving . Но я не могу найти достаточно документов об особенностях обслуживания Google ai и о том, как он реализован.

Похоже, что gcloud ai-platform versions create может создать ресурс версии модели и начать обслуживание, и это единственное, что я могу найти.

У меня есть три вопроса:

1, какова связь между службой Google ai и kfserving?

2, как работает gcloud ai-platform versions create?

3, Что касается функций обслуживания Google ai, предоставляют ли все услуги Google ai все функции, такие как канарейка, объяснения, мониторинг и т. д. c, перечисленные в https://www.kubeflow.org/docs/components/serving/overview/?

Спасибо

1 Ответ

1 голос
/ 21 апреля 2020

Документ, которым вы поделились, содержит обширную информацию о Прогнозе платформы Google AI . Таким образом, это размещенная служба в GCP, где вам не нужно управлять инфраструктурой. Вы просто развертываете свою модель, и вам будет доступна новая конечная точка REST, чтобы начать отправлять прогнозы через SDK или API.

  • Поддерживает несколько платформ:
    • TensorFlow
    • scikit-learn
    • XGBoost
    • Pytorch
    • Пользовательские Docker контейнеры (скоро)
  • Поддержка графических процессоров
  • Версии моделей
  • Онлайн и пакетное прогнозирование
  • Регистрация и мониторинг
  • Несколько регионов
  • REST API

Ответ на ваш вопросы:

  1. KFSНеобходимо управлять собственной инфраструктурой K8s / KubeFlow. Kubeflow поддерживает две системы обслуживания моделей, которые поддерживают обслуживание нескольких моделей: KFServing и Seldon Core. Служба платформы AI: вы не управляете инфраструктурой и не нуждаетесь в K8s / KF, вы просто развертываете свои модели, а GCP заботится об инфраструктуре.

  2. gcloud ai-platform versions create развернет виртуальную машину ( s) в Google Cloud, где в зависимости от настроек (времени выполнения) и Framework все зависимости будут установлены автоматически, также будет установлено все необходимое для загрузки модели, чтобы вы могли иметь доступ к REST API.

  3. Canary может быть реализован с использованием различных моделей и версий, это может зависеть от маршрутизации ваших прогнозов. Проверьте Что, если инструмент и Модель Ведение журнала .

...