Я пытаюсь запустить экспорт из S3 с текстовым файлом 130 ГБ в RDS Aurora.
Размер кластера моей EMR составляет 10 r3xlarge. Я создал таблицу 130 столбцов в RDS и с помощью приведенной ниже командыэкспорт записей в RDS
sqoop export \
--direct \
--connect jdbc:mysql://a205067-pcfp-rds-PPPP.ABCD.us-east-1.rds.amazonaws.com/tprdb \
--username tpruser \
--password Welcome12345 \
--table DnB_WB_UniverseMaster \
--export-dir s3://12345-pcfp-latest-new/output/processing/NextIteration/ \
-num-mappers 200 \
--fields-terminated-by '|' \
--batch \
--input-lines-terminated-by '\n' \
-- --default-character-set=latin1
Я могу загружать записи в RDS, когда файлы небольшие, но когда я пытаюсь загрузить полный каталог, он завершился неудачно после выполнения задачи 30% карты.
Здесьмои журналы контейнеров.
2018-10-26 09: 51: 50,733 WARN [main] org.apache.hadoop.mapred.YarnChild: исключение, работающее child: java.io.IOException: mysqlimport прекращенос кодом ошибки 143 в org.apache.sqoop.mapreduce.MySQLExportMapper.closeExportHandles (MySQLExportMapper.java:313) в org.apache.sqoop.mapreduce.MySQLExportMapper.writeRecord (MySQLExava.pache.prep..MySQLTextExportMapper.map (MySQLTextExportMapper.java:56) в org.apache.sqoop.mapreduce.MySQLTextExportMapper.map (MySQLTextExportMapper.java:31) в org.apache.sqoop.mapreduce.MySQLEpper.run (MySQLExportMapper.java:245) в org.apache.hadoop.mapred.MapTask.runNewMapper (MapTask.java:796) в org.apache.hadoop.mapred.MapTask.run (MapTask.java:342 at).apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:175) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422) в орг.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1840) в org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:169)
Как это можно исправить, предложите