Версии hadop-aws и aws-java-sdk, совместимые для Spark 2.3 - PullRequest
Новая
       39

Версии hadop-aws и aws-java-sdk, совместимые для Spark 2.3

0 голосов
/ 04 июля 2019

Я использую Spark 2.3.0 и Scala 2.11.8

Какие совместимые версии следующих библиотек?:

Hadoop-AWS

AWS-Java-SDK

Ответы [ 2 ]

1 голос
/ 04 июля 2019

Все они опубликованы в maven central, поэтому сначала проверьте, от какой версии hadoop spark 2.3 зависит.Там написано hadoop-client 2.6.5.К счастью, hadoop-aws придерживается той же версии, поэтому это является соответствующей зависимостью aws.Наконец, мы видим, что hadoop-aws 2.6.5 зависит от aws-java-sdk 1.7.4.

0 голосов
/ 04 июля 2019

Если вы используете EMR, соответствующие версии можно найти на вкладке Сводка кластера EMR пользовательского интерфейса AWS, например:

EMR and Hadoop versions

Версии программного обеспечения, совместимого с каждой версией EMR, также можно увидеть по адресу https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-5x.html.

...