Я обрабатываю свои данные с помощью Pyspark в AWS Glue.Мне нужно будет генерировать пакетный отчет после того, как каждый шаг (количество шагов скажет 20) будет выполнен в формате даты и времени.Однако в конце процесса я бы хотел, чтобы только последний файл был сгенерирован из процесса.Я могу понять, что S3 не может иметь функцию добавления, работающую с тем же файлом.Поэтому я не возражаю против замены последнего файла, сгенерированного процессом.Это может быть сделано с какой-то простой функциональностью?