Ошибка чтения файла s3a с помощью org.apache.hadoop.fs.s3a.S3AInstrumentation - PullRequest
Новая
       10

Ошибка чтения файла s3a с помощью org.apache.hadoop.fs.s3a.S3AInstrumentation

0 голосов
/ 01 февраля 2019

Я запускаю свое приложение на spark2.3.0 с зависимостями hadoop-* - 2.8.0, aws-java-sdk - 1.10.6, joda-time - 2.9.4 и jackson-core-2.9.4 и с ошибкой ниже.Это же приложение работает нормально AWS_JAVA_SDK=1.7.4 HADOOP_AWS_VERSION=2.7.3..Может кто-нибудь сообщить мне правильную версию hadoop / spark / aws для использования?У меня есть некоторая зависимость от spark2.3.0, поэтому я не могу перейти на spark2.2.Я прочитал несколько постов, и это явно похоже на проблему с версией, и я попробовал несколько версий, ссылаясь на зависимости hadoop maven, но все еще получая ту же ошибку. 

    at org.apache.hadoop.fs.s3a.S3AInstrumentation.streamCounter(S3AInstrumentation.java:194)
    at org.apache.hadoop.fs.s3a.S3AInstrumentation.streamCounter(S3AInstrumentation.java:216)
    at org.apache.hadoop.fs.s3a.S3AInstrumentation.<init>(S3AInstrumentation.java:139)
    at org.apache.hadoop.fs.s3a.S3AFileSystem.initialize(S3AFileSystem.java:174)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2669)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
    at org.apache.hadoop.fs.FileSystem$Cache.getUnique(FileSystem.java:2691)
    at org.apache.hadoop.fs.FileSystem.newInstance(FileSystem.java:420)
    at ```
...