Я хранил файлы CSV в AWS s3 ежедневно.Ниже приведена структура пути моего файла S3:
s3://data-dl/abc/d=2019-09-19/2019-09-19-data.csv
В этой структуре часть даты пути файла s3 будет создаваться каждый день.
Теперь я хочу использовать клей AWS для ETLотправить данные из S3 в Redshift.Чтобы использовать это, как я могу добавить путь S3 в каталоге данных?Я хочу синхронизировать только CSV-файл последних папок.
Также для части задания, как я могу объявить этот динамический путь в скрипте Glue Pyspark?