Sqoop застрял на 5% прогресса - PullRequest
Новая
       18

Sqoop застрял на 5% прогресса

0 голосов
/ 05 сентября 2018

Я использую Sqoop для импорта данных из оракула в HDFS. Когда задание запускается, оно застревает на 5% прогресса примерно на 1 час, и эта информация выводится: 

INFO mapreduce.Job: Task Id : attempt_1535519556038_0015_m_000037_0, Status : FAILED
Container launch failed for container_1535519556038_0015_01_000043 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.
This token is expired. current time is 1536133107764 found 1536133094775
Note: System times on machines may be out of sync. Check system time and time zones.
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)
        at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
        at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)
        at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:375)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

и затем продолжается до успешного завершения задания и импорта всех данных. Итак, у меня вопрос: в чем причина зависания работы в 5% прогресса? Почему это самокорректируется? Это нормально? Если нет, можно ли относиться к этой выпущенной информации? Как я могу это исправить?

1 Ответ

0 голосов
/ 05 сентября 2018

Сообщение об ошибке четко объясняет «Несанкционированный запрос на запуск контейнера. Срок действия этого токена истек ».

Одним из вариантов будет увеличение срока службы контейнера путем установки: yarn.resourcemanager.rm.container-allocation.expiry-interval-ms, который по умолчанию равен 10 минут .

Примечание: Задания будут работать, если вы увеличите yarn.resourcemanager.rm.container-allocation.expiry-interval-ms в файле конфигурации yarn-site.xml. 

<property>
   <name>yarn.resourcemanager.rm.container-allocation.expiry-interval-ms</name>
   <value>1000000</value>
</property>
...