В настоящее время я пытаюсь написать метку для копирования файлов из одного местоположения S3 в другое.Прежде чем я смогу скопировать файлы, мне нужно проверить соответствующий файл отклонения, чтобы убедиться, что он пустой.Логика, которой я должен следовать:
if rej_file_size = 0kb:
Copy files from S3_loc_1 to S3_loc_2
else:
Fail dag
Я довольно новичок в dag и python, так что для меня будет лучшим способом взять файл из местоположения и посмотреть, если он пустой (0kb) или нет (> 0kb)
Спасибо, что уделили время