Источник данных Spring Cloud Flow Git - PullRequest
Новая
       32

Источник данных Spring Cloud Flow Git

0 голосов
/ 05 июля 2019

Мне интересно наблюдать за изменениями в git-репозитории, а затем работать с файлами этого репозитория.Я мог бы установить webhook в github для уведомления потока данных при изменении хранилища, но мне нужно скачать / клонировать файлы для их обработки.Есть ли какое-то локальное хранилище, которое гарантировано для развертываний, где я мог бы сделать что-то подобное?

В принципе, есть ли локальное хранилище, доступное процессорам в конвейере развертывания потока данных, чтобы они могли сохранять файлы на диск и обрабатывать их на следующем этапе конвейера?

Спасибо!

1 Ответ

1 голос
/ 05 июля 2019

Spring Cloud Data Flow - это не что иное, как приложение Spring Boot. SCDF не взаимодействует напрямую с приложениями, брокерами сообщений или базовыми компонентами платформы, включая монтируемые тома.

Тем не менее, если вам нужно, чтобы ваши приложения загружали и обрабатывали загруженные файлы, вам нужно полагаться на компоненты, в которых работает приложение.

Например, при использовании SCDF в локальном режиме все приложения выполняются как процесс Java на компьютере / виртуальной машине, поэтому, если процессор имеет доступ к локальной файловой системе, тогда да, вы можете ссылаться на него как file:/// ресурс. Вы можете использовать конвейер данных SFTP в JDBC в качестве эталона. Здесь источник SFTP локально загружает файл, считывает метаданные файла и затем отправляет метаданные в качестве полезной нагрузки в нижестоящее приложение, которое, в свою очередь, запускает задачу для записи содержимого файла в базу данных.

Если вы используете SCDF в Cloud Foundry, вы будете полагаться на управляемые сервисы, такие как PCF Volume Services , Minio и подобные. (См. документы )

Аналогично, с помощью SCDF в Kubernetes вы можете использовать K8s Volume Mounts с вашим выбором бэкэнда (см. docs )

...