Если результат csv не очень велик (меньше пары Гб), вы можете использовать AWS Lambda для просмотра всех подкаталогов (ключей) в S3 и записи файла результатов [например, снова в S3].
Также вы можете использовать AWS Glue для этой операции, но я не использовал его.
В обоих случаях вы должны написать какой-нибудь скрипт для объединения файлов.