Передача данных воздушного потока между задачами без сохранения данных между этапами - PullRequest
1 голос
/ 27 мая 2020

Я хотел бы знать, как передавать данные между задачами, не сохраняя их между ними. Прикрепленное изображение можно увидеть поток задач. На данный момент я сохраняю выходные CSV-файлы каждой задачи в виде файла на моем локальном компьютере и снова получаю этот CSV-файл в качестве входных данных для следующей задачи. Я хотел знать, есть ли другой способ передавать данные между задачами, не сохраняя их после каждой задачи. Я немного исследовал и наткнулся на Xcoms . Я хотел убедиться, что Xcoms - правильный способ достичь этого, или я ошибаюсь. Практических примеров найти не удалось. Любая помощь приветствуется, так как я всего лишь новичок ie в воздушном потоке, начатом пару дней

Ответы [ 2 ]

1 голос
/ 27 мая 2020

Короткий ответ: нет, задачи требуют, чтобы данные были в состоянии покоя перед переходом к задаче вложенности. Xcom больше всего подходят для коротких строк, которые могут быть разделены между задачами (каталоги файлов, имена объектов и т. Д. c.). Ваш текущий поток хранения данных в файлах csv между задачами является оптимальным способом запуска вашего потока.

0 голосов
/ 27 мая 2020

XCom предназначен для обмена небольшими частями информации, такими как len таблицы sql, любые специфические значения c и тому подобное. Он не предназначен для совместного использования фреймов данных (которые могут быть огромными), потому что общая информация записана в базе данных метаданных. в следующем Операторе, или вы объедините операторы в один.

...