Ошибка повтора Distcp при использовании учетных данных aws - PullRequest
Новая
       8

Ошибка повтора Distcp при использовании учетных данных aws

0 голосов
/ 27 ноября 2018

Я пытаюсь переместить некоторые файлы журналов из hdfs в корзину s3

Я использую для этого команду distcp, но она продолжает пытаться в течение длительного времени, Пожалуйста, помогите мне устранить ее.

sudo -u hdfs hadoop distcp -Dfs.s3a.access.key="xxxxxxxxxx" -Dfs.s3a.secret.key="xxxxxxxxxxxxxx" hdfs://prod1/data/exchange/inventory_snapshot/20160610 s3a://test-inventory-snapshot/test/

18/11/27 15:01:41 INFO tools.DistCp: Input Options: DistCpOptions{atomicCommit=false, syncFolder=false, deleteMissing=false, ignoreFailures=false, maxMaps=20, sslConfigurationFile='null', copyStrategy='uniformsize', sourceFileListing=null, sourcePaths=[hdfs://prod1/data/exchange/inventory_snapshot/20160610], targetPath=s3a://test-inventory-snapshot/test, targetPathExists=true, preserveRawXattrs=false}
18/11/27 15:01:41 INFO client.RMProxy: Connecting to ResourceManager at xxxx.xxxx.com/xx.xx.xx.x:8032
18/11/27 15:01:47 INFO client.RMProxy: Connecting to ResourceManager at xxxx.xxxx.com/xx.xx.xx.x:8032
18/11/27 15:01:48 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:49 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:50 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:51 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)
18/11/27 15:01:52 INFO ipc.Client: Retrying connect to server: xxxx.xxxx.com/xx.xx.xx.x:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)

когда я пытаюсь выполнить команду ls, она работает, что-то не так с тем, как я передаю свои полномочия aws, 

sudo -u hdfs hadoop fs -ls hdfs://prod1/data/exchange/inventory_snapshot/20160610
Found 1 items
drwxr-xr-x   - user hdfs          0 2016-06-10 12:30 hdfs://prod1/data/exchange/inventory_snapshot/20160610/.metadata

 hadoop version
Hadoop 2.7.1.2.3.2.0-2950
Subversion git@github.com:hortonworks/hadoop.git -r 5cc60e0003e33aa98205f18bccaeaf36cb193c1c
Compiled by jenkins on 2015-09-30T18:08Z
Compiled with protoc 2.5.0
From source with checksum 69a3bf8c667267c2c252a54fbbf23d
This command was run using /usr/hdp/2.3.2.0-2950/hadoop/lib/hadoop-common-2.7.1.2.3.2.0-2950.jar

1 Ответ

0 голосов
/ 27 ноября 2018

Подключение к ResourceManager по адресу xxxx.xxxx.com/xx.xx.xx.x:8032

Похоже, вы не можете связаться с YARN ResourceManager с хоста, который вы пытаетесьзапустить работу distcp."Hadoop fs -ls" работает, потому что он не включает YARN.

Существует множество причин, по которым это может произойти.Проверьте, действительно ли ResourceManager работает на узле xxxx.xxxx.com/xx.xx.xx.x:8032, проверьте, можете ли вы достичь этого хоста / порта.Попробуйте запустить другое задание MapReduce (например, Pi из hadoop-examples).

...