Запуск многофайлового Python Apache Beam с воздушным потоком Cloud Composer - PullRequest
0 голосов
/ 11 февраля 2019

У меня есть многофайловое Python Apache Beam, которое я хочу запустить в облаке Dataflow через airflow / cloud composer.Моя многофайловая работа разработана в соответствии с этой рекомендацией https://beam.apache.org/documentation/sdks/python-pipeline-dependencies/#multiple-file-dependencies. Она работает без проблем из CLI.Теперь я хочу запустить его через airflow и Cloud Composer.Я пытался использовать https://airflow.apache.org/integration.html#dataflowpythonoperator, но это не работает.Возможно, мне не хватает правильного способа настройки этого оператора.Между прочим, у меня нет проблем с использованием этого оператора для запуска одного файла Python Apache Beam.

...