Я изучаю SCDF для организации существующего пакетного задания для моей системы. Я заметил, что SC Stream App Starters уже предоставляет несколько OOTB, готовых к использованию потоковых приложений, что подходит для моего варианта использования:
- Извлечение XML-файла с FTP -> источник ftp
- Настройка преобразования
- Загрузить преобразованный XML-файл на другой FTP -> приемник ftp
Но моя система требует, чтобы вышеупомянутое пакетное задание выполнялось только через каждые 10 минут. Реализация с использованием потокового приложения - это хорошо, но для этого требуется, чтобы потоковое приложение работало 24-7 (используя SCDF с Kubernetes). Меня беспокоит то, что у меня есть более 20 вышеуказанных пакетных задач, и каждое потоковое приложение должно быть «запущено», чтобы запускаться через каждые 10 минут.
После прочтения задачи Spring Cloud я заметил, что она лучше подходит для моего использования, для которого не требуется, чтобы потоковые приложения были постоянно запущены (недолговечны). Но OOTB не имеет готовых приложений, которые мне нужны: ftp-source и ftp-sink.
Кроме того, использование Spring Cloud Task не позволяет мне передавать файл XML из предыдущего приложения задачи в следующее. Кажется, что это запах кода для передачи данных от задачи к задаче согласно комментарию в этом вопросе .
Затем, чтобы реализовать описанный выше вариант использования, task-app-1 загрузит файл xml и выведет его в некоторое хранилище, затем task-app-2 заберет файл xml из хранилища и выполнит настройку преобразования и загрузки в другое хранилище. Затем task-app-3 берет файл XML и загружает его на FTP. Это будет уместно ??
Кроме того, у меня также есть идея зарегистрировать несколько потоков с использованием описанного выше варианта использования и инициировать развертывание потока через внешний источник (SCDF REST API)? Будет ли это победить цель существующей функции расписания задач?
Кто-нибудь может посоветовать это?