У меня есть 600k папок в папке s3 Каждая папка имеет уникальный идентификатор.Каждая папка имеет каждый файл JSON.Я хочу сохранить все записи из файла с именем папки в таблицу Redshift.
Я пытаюсь использовать файловый итератор и компонент API в Matillion.Каждый файл занимает от 1 до 2 секунд для загрузки.Есть ли другой способ загрузки файлов из s3 в красное смещение, основанный на описанном выше сценарии?