Ошибка s3distcp с «mapreduce_shuffle не существует» - PullRequest
Новая
       97

Ошибка s3distcp с «mapreduce_shuffle не существует»

1 голос
/ 03 февраля 2020

Когда я запускаю команду ниже, 

s3-dist-cp --src s3://test/9.19 --dest hdfs:///user/hadoop/test

Я получаю сообщение об ошибке auxService. 

20/02/03 07:52:13 INFO mapreduce.Job: Task Id : attempt_1580716305878_0001_m_000000_2, Status : FAILED
Container launch failed for container_1580716305878_0001_01_000004 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

Во многих QnA я нашел решение, подобное этому ссылка .

Но нет процесса для nodemanager. 

[hadoop@ip-172-31-37-115 ~]$ initctl list | grep yarn
hadoop-yarn-timelineserver start/running, process 8149
hadoop-yarn-resourcemanager start/running, process 17331
hadoop-yarn-proxyserver start/running, process 8147

Моя EMR была создана с помощью быстрого меню с emr-5.28.0. Кто-нибудь знает об этой проблеме?

Спасибо!

1 Ответ

0 голосов
/ 21 февраля 2020

Я уверен, что есть какой-то способ обновить конфиги, но я создал кластер, используя «расширенную» настройку, и выбрал следующие программные пакеты:

Ganglia Hive Hue Mahout Pig Tez Spark Hadoop ( Всего 8)

Большинство из них, кроме spark, устанавливаются с настройками по умолчанию (первый переключатель для пакетов программ в быстрой настройке). Один из этих пакетов программного обеспечения или что-то связанное с этим является причиной установки s3-dist-cp, и я смог использовать его без проблем с этой настройкой.

...