Я запускаю работу Spark локально.В своем коде я создаю клиент AmazonS3.Я использую последние версии aws-java-sdk
и spark
.Когда я упаковываю свой код с его зависимостями и передаю его в утилиту отправки Spark, я получаю следующую ошибку:
Исключение в потоке "main" java.lang.NoSuchMethodError: com.amazonaws.services.s3.AmazonS3Client.builder ()
Я пробовал разные онлайн-источники и не смог избавиться от ошибки.Я даже попытался связаться со службой поддержки aws, они попросили меня добавить ее в пакет spark-submit --packages.Я попробовал это, все еще не повезло.