поток данных весеннего облака и поток воздуха

Question

У нас есть воздушный поток в качестве инструмента управления рабочим процессом для планирования / мониторинга задач, а также у некоторых есть приложения, использующие облачный поток данных Spring для слабой связи между процессами через шину сообщений производителя и потребителя Kafka и информационные панели Grafana для пользовательского интерфейса (ETL). Kubernetes и AWS (EKS) являются вариантами развертывания.

Мы начинаем создавать конвейеры данных, которые будут иметь источники (файлы на S3 или сервер или базы данных), процессоры (пользовательские приложения, конвейеры AL / ML) и места назначения (Kafka, s3, базы данных, ES). Я планирую использовать поток воздуха для управления общим управлением конвейерами и задачами внутри конвейера через приложения на основе SCDF или будущие приложения, написанные python по мере расширения AL / ML. Это правильный подход или я могу позволить go одного над другим?

Answer 1

В зависимости от ваших требований SCDF подойдет и предоставит опции для управления вашими потоковыми конвейерами данных. Хотя вы все еще можете найти другие возможные подходы, я могу дать еще несколько советов о том, что SCDF предоставляет для удовлетворения некоторых ваших требований.

• SCDF предоставляет готовые приложения, которые вы можете расширить / настроить. Эти приложения включают в себя источник и приемник S3, которые можно использовать «из коробки». Полный список готовых приложений можно найти на странице здесь
• . По всей видимости, в SCDF имеется средство развертывания Kubernetes, с которым можно работать на любых платформах на основе Kubernetes. Вы можете настроить свои свойства K8s c как набор свойств развертывателя kubernetes при развертывании приложений.
• Вы можете встроить приложение на основе python в качестве процессора / преобразователя в конвейер потоковых данных. Вы можете проверить этот рецепт с сайта SCDF, чтобы узнать больше об этом.
• Вы также можете встроить приложение tensorflow как приложение процессор в конвейер.