Spring Data Flow и GCP Pub Sub

Question

Я строю управляемую событиями микросервисную архитектуру, которая должна быть независимой от облака (насколько это возможно).Поскольку изначально это происходит в GCP, и я не хочу тратить много времени на настройку и все такое, я собирался использовать Pub / Sub GCP непосредственно для очереди событий и позже позаботился о других реализациях Cloud, но потомЯ столкнулся с Spring Cloud Dataflow, который показался мне приятным, потому что это микросервисы Spring Boot, и мне нужен был способ их организации.

• Поддерживает ли Spring Cloud Dataflow поддержку Pub Sub в качестве очереди событий?
• Будет ли это проще в плане конфигурации и настройки по этому пути, чем при выборе стороннего брокера?

Answer 1

Сначала было бы полезно распаковать «связующую абстракцию» Spring Cloud Stream, поскольку при использовании этой среды у вас будет портативное потоковое приложение, управляемое событиями, которое может запускаться локально на вашем ноутбуке или в любом облаке вашеговыбор против желаемого сообщения брокера.

Подробнее об абстракции связующего здесь .Вот все доступные связующие реализации на выбор.Google PubSub - это опция, и она поддерживается Google здесь .

Теперь поговорим о Spring Cloud Data Flow (SCDF).Однажды, когда вы создали потоковые приложения, вы могли использовать SCDF для проектирования + создания конвейера данных, сделанного из таких приложений.Существует возможность смешивать и повторно использовать набор служебных приложений , которые мы также создаем, поддерживаем и выпускаем.Служебные приложения могут быть упакованы с Google PubSub или другими приложениями.Подробнее здесь .

При развертывании конвейера данных SCDF разрешит и загрузит отдельные приложения для их развертывания изначально на платформах, таких как Kubernetes или Cloud Foundry.У нас есть пользователи, которые делают то же самое в различных облачных инфраструктурах (виртуальные машины, Bare-metal, EC2, Rackspace и т. Д.), Включая платформы DIY.

В то же время автоматизируя развертывание приложений, SCDF автоматизирует настройку конфигурации на основе соглашений об именах, полученных из потоков / задач и имен приложений в виде комбинации.Таким образом, когда приложения загружаются, они автоматически получают конфигурации соединения (от SCDF), а также назначение / тему для подключения вместе с другими метаданными, чтобы рассуждать через коллекцию приложений в виде «потока» или «задачи»./ пакетный конвейер данных.Это позволяет централизованно контролировать и управлять конвейерами.

И, наконец, в SCDF есть собственная возможность непрерывного обновления / постепенного понижения версии 1 или многих приложений в конвейере данных, не влияя на восходящих или последующих потребителей в процессе производства.Подробнее здесь .Есть запись вебинара (демонстрация начинается с ~ 41,25) о том, как сделать с автоматизацией CI / CD.