Не удалось разрешить зависимости орг. apache .had oop: has oop - aws: 2.7.6

Question

Когда я набираю следующую команду, чтобы моя java искра прочитала файл csv из amazon s3

spark-submit --class myApp --packages org.apache.hadoop:hadoop-aws:2.7.6 --master local ./target/spark_pratice.jar

Сообщение об ошибке

                ::::::::::::::::::::::::::::::::::::::::::::::

                ::              FAILED DOWNLOADS            ::

                :: ^ see resolution messages for details  ^ ::

                ::::::::::::::::::::::::::::::::::::::::::::::

                :: javax.activation#activation;1.1!activation.jar

                :: asm#asm;3.2!asm.jar

                :: org.apache.avro#avro;1.7.4!avro.jar

                :: com.thoughtworks.paranamer#paranamer;2.3!paranamer.jar

                :: org.xerial.snappy#snappy-java;1.0.4.1!snappy-java.jar(bundle)

                :: io.netty#netty;3.6.2.Final!netty.jar(bundle)

                ::::::::::::::::::::::::::::::::::::::::::::::
:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
Exception in thread "main" java.lang.RuntimeException: [
    download failed: javax.activation#activation;1.1!activation.jar, 
    download failed: asm#asm;3.2!asm.jar, 
    download failed: org.apache.avro#avro;1.7.4!avro.jar, 
    download failed: com.thoughtworks.paranamer#paranamer;2.3!paranamer.jar, 
    download failed: org.xerial.snappy#snappy-java;1.0.4.1!snappy-java.jar(bundle), 
    download failed: io.netty#netty;3.6.2.Final!netty.jar(bundle)
]

Я не знаю, как решить эту проблему. Стоит ли что-нибудь обновлять? maven? или что-то другое ?

Answer 1

Наконец, я пытаюсь загрузить недостающие файлы jar из репозитория maven репозитория maven

И я помещаю их в надлежащий репозиторий .m2 / репозиторий

Answer 2

Я столкнулся с той же проблемой, и я удалил каталоги .ivy2/cache, ivy2/jars и .m2/repository/ и выполнил команду spark-shell --package, и она начала работать.