В чем разница между GCP Kubeflow и облаком GCP composer?

Question

Я изучаю GCP и натолкнулся на Kuberflow и Google Cloud Composer.
Из того, что я понял, кажется, что оба они используются для организации рабочих процессов, позволяя пользователю планировать и отслеживать конвейеры в GCP.
Единственное отличие, которое я смог выяснить, заключается в том, что Kuberflow развертывает и контролирует модели машинного обучения. Я прав? В этом случае, поскольку модели машинного обучения также являются объектами, мы не можем организовать их с помощью Cloud Composer? Каким образом Kubeflow помогает лучше, чем Cloud Composer в управлении моделями машинного обучения ??

Спасибо

Answer 1

Взяв это прямо из kubeflow.org

Проект Kubeflow посвящен созданию простых, переносимых и масштабируемых развертываний рабочих процессов машинного обучения (ML) в Kubernetes. Наша цель состоит не в том, чтобы воссоздать другие сервисы, а в том, чтобы обеспечить простой способ развертывания лучших в своем классе систем с открытым исходным кодом для ML в различных инфраструктурах. Где бы вы ни работали с Kubernetes, вы должны иметь возможность запускать Kubeflow.

И, как вы можете видеть, это набор, состоящий из множества программ, которые полезны в жизненном цикле модели ML. Он поставляется с тензорным потоком, Юпитер и др. c. Теперь реальная сделка, когда дело доходит до Kubeflow, - это «простое развертывание модели ML в масштабе в кластере Kubernetis».

Однако на GCP вы уже являетесь набором ML в облаке, datalab, облаке и т. Д. c. Поэтому я не знаю, насколько эффективно будет грешить кластер Кубернетиса, если вам не нужен фактор «переносимости».

Облако Composer - это реальная сделка, связанная с организацией рабочего процесса. Это «управляемая» версия Apache Airflow, и она идеально подходит для любого «простого» рабочего процесса, который сильно меняется, поскольку вы можете изменить его с помощью визуального интерфейса пользователя и с помощью python.

. также идеально подходит для автоматизации операций инфраструктуры:

Answer 2

• Kubeflow - платформа для разработки и развертывания систем машинного обучения (ML) . Его компоненты предназначены для создания рабочих процессов, предназначенных для построения систем ML.
• Облако Composer обеспечивает инфраструктуру для запуска Apache Воздушный поток worflows . Его компоненты известны как Операторы воздушного потока , а рабочие процессы представляют собой соединения между этими операторами, которые называются группами обеспечения доступности баз данных.

Обе службы работают в Kubernetes, но они основаны на разных платформах программирования. ; следовательно, вы правы, Kuberflow развертывает и отслеживает модели машинного обучения. Ниже приведены ответы на ваши вопросы:

1. В таком случае, поскольку модели машинного обучения также являются объектами, не можем ли мы организовать их с помощью Cloud Composer?

Вам потребуется найти оператора, который соответствует вашим потребностям, или создать пользовательский оператор со структурой, необходимой для создания модели, см. этот пример . Даже когда это можно выполнить, это может быть сложнее, чем при использовании Kubeflow.

Как Kubeflow помогает в любом случае, лучше, чем Cloud Composer, когда речь идет об управлении моделями машинного обучения ??

Kubeflow скрывает сложность, поскольку ориентирована на модели машинного обучения. Фреймворки, специализирующиеся на машинном обучении, делают это проще, чем использование Cloud Composer, которое в этом контексте можно рассматривать как инструмент общего назначения (ориентированный на связывание существующих сервисов, поддерживаемых операторами воздушного потока).