Я пытаюсь экспортировать свои 130 ГБ данные из 900 файлов из S3 в Auroa / MySql RDS.У меня кластер из 10 узлов конфигурации 10r4.4xlarge.И Аврора включена
Aurora : db.r3.2xlarge 8 CPU, 61 GB RAM)
Также, когда я запускаю свою команду Sqoop, я вижу, что 917 картографов отключены.Но экспорт все еще очень и очень медленный. Для загрузки всех данных требуется более 2 часов.
Вот моя команда Sqoop, которую я пытаюсь выполнить.
sqoop export \
--connect jdbc:mysql://a205067-pppp-ec2.abcd.us-east-1.rds.amazonaws.com/tprdb \
--username user \
--password Welcome12345 \
--table UniverseMaster \
--export-dir s3://205067-pppp-latest-new/output/processing/NextIteration/ \
--fields-terminated-by '|' \
--num-mappers 1000 \
--direct \
-- --default-character-set=latin1
Есть ли какие-либоКак я могу улучшить экспорт Sqoop?Я пытался использовать записи для каждой транзакции, но все же результат.
Пожалуйста, предложите ..