Как интегрировать Airflow с Github для запуска скриптов

Question

Если мы сохраняем наш код / ​​скрипты в учетной записи репозитория github, есть ли способ скопировать эти скрипты из репозитория Github и выполнить в каком-либо другом кластере (который может быть Hadoop или Spark).

Обеспечивает ли воздушный потокЛюбой оператор для подключения к Github для получения таких файлов?

Ведение скриптов в Github обеспечит большую гибкость, поскольку каждое изменение в коде будет отражаться и использоваться непосредственно оттуда.

Любая идея на этот счетСценарий действительно поможет.

Answer 1

Вы можете использовать GitPython как часть задачи PythonOperator для запуска извлечения по указанному расписанию.

import git 

g = git.cmd.Git( git_dir )
g.pull()

Не забудьте убедиться, что вы добавилисоответствующие ключи, чтобы работники воздушного потока имели право извлекать данные.