Несколько файлов в S3 создаются после запуска задания ETL, использующего соединение RDS MySQL

Question

Я новичок в клею AWS и попытался выяснить, смогу ли я создать наше озеро данных в S3. Для этого я создал задание ETL для запуска на небольшой таблице MySQL в RDS. После завершения задания в S3 было создано несколько файлов CSV, и большинство из них пустые.

Я хочу понять:

1. Почему данные разбиты на несколько файлов?
2. Можно ли запустить задание на нескольких столах? В консоли AWS это позволяет выбрать только одну таблицу в качестве исходного хранилища данных. Означает ли это, что мне нужно создать работу для каждого стола?

Answer 1

1. Это связано с распределением ключа ваших данных. Насколько я знаю, вы можете балансировать ключ только вручную.

2. Возможный дубликат: как можно с помощью клеевого задания aws загрузить несколько таблиц в красное смещение .