Я использую скрипт aws glue для периодического чтения csv-файлов из корзины s3 в Postgres DB. Сценарий сгенерирован мастером склейки aws с некоторыми изменениями и использует функцию закладок для обработки только новых файлов из s3.
Хотелось бы узнать, возможно ли получить список файлов, которые склеивают рабочие процессы в текущем цикле? Или, что еще лучше, можно ли каким-то образом сохранить связь между кучей записей в БД и исходным файлом, к которому они относятся, в s3?
Он мне нужен для устранения неполадок, чтобы знать, когда указываются c плохие записи, и из какого CSV-файла они были загружены.