ETL Spring, поток данных Spring Cloud (SCDF)

Question

У нас есть случай использования, когда данные могут быть получены из разных источников (БД, ФАЙЛ и т. Д.) И преобразованы и сохранены в различных приемниках (Кассандра, БД или Файл). Мы хотели бы иметь возможность разделять задания и выполнять параллельные загрузки - похоже, что Spring Batch RemoteChunking предоставляет такую ​​возможность.

Я новичок в SCDF и Spring batch, и мне интересно, как лучше его использовать.

Есть ли способ обеспечить настройку для этих заданий (сведения о соединении с источником, таблица и запрос), и это можно сделать через пользовательский интерфейс (пользовательский интерфейс сервера SCDF?). Можно ли составить поток?

Это будет работать в Kubernetes, а наши приложения развертываются по конвейеру Jenkins.

Answer 1

Мы хотели бы иметь возможность разделять задания и выполнять параллельные загрузки - похоже, что Spring Batch RemoteChunking предоставляет такую ​​возможность.

Я не думаю, что вам нужно удаленное разбиение на блоки, вы скорее можете запустить параллельные задания, где каждое задание обрабатывает процесс ETL (для определенного файла, таблицы БД).

Есть ли способ предоставить конфигурацию для этих заданий (сведения о соединении с источником, таблица и запрос)

Да, их можно настроить так же, как настроено любое обычное задание Spring Batch.

и можно ли это сделать через пользовательский интерфейс (пользовательский интерфейс сервера SCDF?

Если вы сделаете их настраиваемыми через свойства вашей работы, вы можете указать их через пользовательский интерфейс при запуске задачи.

Можно ли составить поток?

Да, это возможно с Составная задача .