Мне нужно прочитать несколько JSON файлов из S3 в список или продиктовать Python, чтобы я мог нормализовать данные в табличном формате. Я создал файл манифеста, в котором есть все мои ключи S3 для чтения. Есть более 30K JSON файлов для чтения. Как эффективно прочитать файлы из файла манифеста в python?
Ниже приведена структура файла моего манифеста
{"entries": [{"url": "s3://folder1/folder2/filename.json", "mandatory": true}, ....]}