Задание расписания воздушного потока для заданий на основе типов безопасных файлов конфигурации

Question

Я использую Airflow для планирования отправки JAR-файлов (соответствующих упаковке приложений Spark) в кластер Hadoop. Различные задания Spark имеют одно и то же имя JAR, но в зависимости от файлов конфигурации (я использую файлы .conf с библиотекой конфигурации TypeSafe) запускаются разные задания. Мой вопрос заключается в том, как заставить Airflow анализировать файлы .conf, чтобы узнать, какое задание запускается. поэтому здесь я запускаю искровое приложение с spark-submit --class ( same class for all jobs) -Dconfig.file=path/to/config-file

Любая идея об этом, пожалуйста

Answer 1

Я столкнулся с той же проблемой. Мне удалось передать config через системные свойства jvm. Это работает, потому что типизированная конфигурация включает системные свойства jvm при загрузке.

Точнее, я отправляю обязательные свойства в файле конфигурации по spark.driver.extraJavaOptions.