Розетка не создана на этом заводе с искровым потоком и AWS

Question

Я получаю это исключение из-за доступа S3 к потоковому искру.

java.lang.IllegalStateException: Socket not created by this factory
at org.apache.http.util.Asserts.check(Asserts.java:34)
at org.apache.http.conn.ssl.SSLSocketFactory.isSecure(SSLSocketFactory.java:435)...
at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:310)...

at org.apache.hadoop.fs.s3a.S3AFileSystem.verifyBucketExists ...

Я пробовал эти шаги [из других потоков, таких как Сокет AWS, не созданный этой фабрикой или Невозможно использовать AWS SDK в Spring Boot Application (сокет не создан этой фабрикой) ] и не работает.

• Затенение всех amazonaws и apache http jars.
• Обновите httpclient и httpcore явным образом до 4.5.x.
• Обновите amazon sdk до 1.11.x.
• Обновите hadoop до 3.1.x.

Ничего из этого не сработалои я застрял на 2 дня, а это значит, что я уже попробовал большинство решений в stackoverflow и интернете.Есть еще идеи?

Answer 1

Это «новый», но spark обновился до версии httpclient, которая в некоторых случаях нарушает s3a в hadoop 2.8.это звучит как один из симптомов

Я бы порекомендовал получить загрузку Hadoop ASF в соответствии с теми, что в используемой вами версии спарк-релиза, а затем сбросить в (hadoop-aws, aws- , http ) Банки из этого выпуска.Или создайте себя самостоятельно с помощью профиля -Phadoop-cloud, и пусть Maven сделает всю работу.