Flink - от потоковой передачи к пакетной - запуск задания с другого - PullRequest
0 голосов
/ 19 октября 2018

Хотелось бы узнать, есть ли простой способ запустить задание Flink из другого задания.

У меня есть потоковое задание, прослушивающее файловую систему для нового файла, и мне нужнообрабатывать файлы (упакованные) в пакетном режиме (объединение файлов ...)

Итак, у меня есть пакетное задание, выполняющее обработку, но я хочу запустить его из потокового задания, чтобы я мог обрабатывать файлыкогда они прибыли

Есть ли способ сделать это красиво?Хотя я использую RestClusterClient.

Как правило, я хочу перейти от потоковой передачи к пакетной обработке
Использование потоковой передачи в потоковом режиме не позволяет мне выполнять расширенные функции, такие как API пакетной обработки данных

Другой вопросявляется то, как мы можем выполнить операцию на главном (JobManager), чтобы использовать executeEnvironment в потоке данных вместо того, чтобы выполнять его на рабочем (со «стандартными» операциями)

Спасибо за вашу помощь
С уважением, Bastien

...