Я использую текущий процесс, где я загружаю файл манифеста в серию папок на еженедельной основе для копирования данных в красное смещение.Эта папка содержит 92 файла .gzip, 1 файл заголовка и 1 файл успеха.Он загружается еженедельно, поскольку данные перезаписываются в каждую папку еженедельно.
Проблема: у меня есть процесс передачи данных Azure, который также собирает эти файлы .gzip, и если мой файл манифеста находится в папке, покаЗадание копирования Azure запускается, оно останавливает процесс копирования Azure.
Моя потребность: иметь возможность копировать ТОЛЬКО все файлы .gzip - из папки S3 без использования файла манифеста.
Текущая копия: copy table from 's3://path/test_manifest.json'
iam_role 'arn:aws:iamXXXXX'
gzip
manifest;