После обновления Spark до 2.3.0 я получаю RequestHedgingRMFailoverProxyProvider not found - PullRequest
Новая
       0

После обновления Spark до 2.3.0 я получаю RequestHedgingRMFailoverProxyProvider not found

0 голосов
/ 07 мая 2020

Я только что обновил Spark до 2.3.0 с 2.1.1, и когда я запускаю искровой запрос в режиме клиента Yarn, я получаю следующие ошибки. Пожалуйста, помогите кому-нибудь.

Действующая ошибка (код): 

  Failed during initialize_connection: java.lang.RuntimeException: java.lang.RuntimeException: 
java.lang.ClassNotFoundException: 
Class org.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvider not found

20/05/07 19:52:41 ERROR sparklyr: 
Backend (56815) failed calling getOrCreate on 14: 
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: 
Class org.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvider not found

1 Ответ

0 голосов
/ 07 мая 2020

Добавьте has oop -yarn-client jar в свой путь к классу и используйте ту же версию вашего другого has oop jar в вашем pom. xml

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-client -->
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-yarn-client</artifactId>
    <version>${hadoop.verion}</version>
</dependency>

Загрузите jar from имел oop Клиентскую банку версии has oop и поместил ее в папку lib Spark

...