Запускать одно и то же задание Oozie несколько раз параллельно с разными значениями в аргументе для каждого задания

Question

Я хочу запустить программу, которая преобразует данный входной файл в другой формат. Когда файл загружен во входную таблицу, планировщик oozie должен запустить задание.

Для одного файла он работает нормально; Если во входной таблице одновременно несколько записей, то одно и то же количество заданий должно начинаться параллельно с разными inputPath в аргументах. Рабочий процесс Oozie принимает «InputPath» и «OutputPath» в качестве аргумента.

Как я могу это сделать?

Answer 1

Вы хотите запускать задания на основе событий . Oozie не был разработан для этого, он просто запускает запланированных заданий на основе расписания (с необязательным отложенным началом до прибытия определенных файлов).

Рассмотрим другие варианты, например, Воздушный поток или Луиджи.