Как исправить '' java.lang.NoSuchMethodError "в oozie spark пряжи представить? - PullRequest
1 голос
/ 25 марта 2019

У меня есть кластер с голым железом hadoop 3.1.2, и я также установил Oozie 5.1.0 и смог успешно запустить пример оболочки.Но когда я запускаю пример Spark (FileCopy), он указывает «Успех» в oozie, тогда как файл на самом деле не копируется, а YARN stderr содержит:

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.yarn.api.protocolrecords.RegisterApplicationMasterResponse.getResourceProfiles()Ljava/util/Map;
at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:253)
at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:234)
at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.registerApplicationMaster(AMRMClientAsyncImpl.java:201)
at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.registerApplicationMaster(AMRMClientAsyncImpl.java:180)

Есть ли у вас какие-либо идеи, почему это может произойти

1 Ответ

2 голосов
/ 04 июня 2019

Oozie 5.1.0 не поддерживает Hadoop 3. Открытые проблемы:

...