Воздушный поток, передающий фреймы данных между операторами Python - PullRequest
0 голосов
/ 27 октября 2019

Я пытался найти этот ответ, но не смог найти ничего, что имеет смысл для того, что я пытаюсь сделать.

Я пытаюсь создать группу обеспечения доступности баз данных, которая будет извлекать файл с FTP и возвращать данныефрейм, очистить фрейм данных, а затем импортировать в SQL. Таким образом, в конечном итоге это будет выглядеть так:

connect_to_ftp >> get_file >> clean_dataframe >> import_to_sql

Итак, если бы я хотел получить кадр данных в одном операторе и передать его в другой, как бы я это сделал? Должен ли я использовать переменные xcom или я должен просто сделать глобальные переменные в моем коде?

1 Ответ

0 голосов
/ 27 октября 2019

Итак, я прочитал в документации: https://airflow.apache.org/concepts.html#operators

Операторы должны быть атомарными и редко передавать данные друг другу. Так что я думаю, что я думаю об этом неправильно?

...