Мы пытаемся развернуть сжатые пакеты Airflow из Nexus вместе с файлами конфигурации, которые требуются для SparkSubmitOperator. Структура каталогов аналогична приведенной ниже,
parent_directory.zip
|
sub_directory
|
input.config
subdag.py
main_dag.py
Я пытаюсь запустить spark-submitв subdag, который использует input.config в качестве аргумента для зажигания.Но воздушный поток не мог найти файлы, когда пакеты упакованы в файлы конфигурации.
Но если мы заменим файлы конфигурации на файл python, это сработает. Также вместо упакованных пакетов, если мы используем каталоги, Airflow может читать файлы конфигурации.
Есть ли какие-либо ограничения в использовании файлов конфигурациивнутри упакованных пакетов?