java .io.IOException: сброс соединения по одноранговому Sq oop заданию из s3 в экспорт RDS - PullRequest
Новая
       64

java .io.IOException: сброс соединения по одноранговому Sq oop заданию из s3 в экспорт RDS

0 голосов
/ 11 марта 2020

Я пытаюсь экспортировать файлы размером 25 ГБ в 25 различных файлов из s3 в RDS. Я использую Sq oop для выполнения экспорта.

Это моя задача 

sqoop export \
--direct \
--connect jdbc:mysql://adffdg.com/dbo \
--username admin \
--password Welcome123 \
--table LineItemInstance \
--export-dir s3://ffdg/dbo/TESTSQOOPSMALL/ \
-num-mappers 1500 \
--fields-terminated-by  ',' \
--batch \
--input-lines-terminated-by '\n' \
-- --default-character-set=latin1

Моя работа завершается с ошибкой после завершения 97% с ошибкой ниже 

2020-03-11 11:59:48,650 INFO [Socket Reader #1 for port 41935] org.apache.hadoop.ipc.Server: Socket Reader #1 for port 41935: readAndProcess from client 10.456.57.184:56threw exception [java.io.IOException: Connection reset by peer]
java.io.IOException: Connection reset by peer
    at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
    at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
    at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
    at sun.nio.ch.IOUtil.read(IOUtil.java:197)
    at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:377)
    at org.apache.hadoop.ipc.Server.channelRead(Server.java:3069)
    at org.apache.hadoop.ipc.Server.access$2500(Server.java:136)
    at org.apache.hadoop.ipc.Server$Connection.readAndProcess(Server.java:1867)
    at org.apache.hadoop.ipc.Server$Listener.doRead(Server.java:1131)
    at org.apache.hadoop.ipc.Server$Listener$Reader.doRunLoop(Server.java:987)
    at org.apache.hadoop.ipc.Server$Listener$Reader.run(Server.java:958)

Я увеличил многие параметры, связанные с чтением, записью и временем ожидания, но не работает. Я вижу, что до 8 ГБ экспорт работает не более 10 ГБ.

...