Получение уникального идентификатора из воздушного потока в CSV pySpark - PullRequest
0 голосов
/ 11 декабря 2018

Я использую воздушный поток, чтобы запланировать выполнение задания «спарк» (целью задания «спарк» является манипулирование csv-файлом).Я хотел бы проанализировать run_id из задачи Airflow (или любой уникальный идентификатор из Airflow) и добавить его в столбец моего CSV-файла.Как мне подходить к такой ситуации?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...