java.lang.NoSuchMethodError: org.apache.http.conn.ssl.SSLConnectionSocketFactory - PullRequest
0 голосов
/ 15 мая 2018

Как я могу перечислить все имена файлов паркетных файлов в каталоге S3 в Amazon?

Я нашел этот путь:

val s3 = AmazonS3ClientCuilder.standard.build()
var objs = s3.listObjects("bucketname","directory")
val summaries = objs.getObjectSummaries()
while (objs.isTruncated()) {
  objs = s3.listNextBatchOfObjects(objs)
  summaries.addAll(objs.getObjectSummaries())
}
val listOfFiles = summaries.toArray

Но выдает ошибку:

java.lang.NoSuchMethodError: org.apache.http.conn.ssl.SSLConnectionSocketFactory

Я добавил зависимость для httpclient 4.5.2, как указано во многих ответах, но все равно получаю ту же ошибку.

Также я сделал:

    libraryDependencies ++= Seq(
      "org.apache.spark" %% "spark-core" % sparkVersion exclude("commons-httpclient", "commons-httpclient"),
      "org.apache.spark" %% "spark-mllib" % sparkVersion exclude("commons-httpclient", "commons-httpclient"),
      "org.sedis" %% "sedis" % "1.2.2",
      "org.scalactic" %% "scalactic" % "3.0.0",
      "org.scalatest" %% "scalatest" % "3.0.0" % "test",
      "com.github.nscala-time" %% "nscala-time" % "2.14.0",
      "com.amazonaws" % "aws-java-sdk-s3" % "1.11.53",
      "org.apache.httpcomponents" % "httpclient" % "4.5.2",
      "net.java.dev.jets3t" % "jets3t" % "0.9.3",
      "org.apache.hadoop" % "hadoop-aws" % "2.6.0",
      "com.github.scopt" %% "scopt" % "3.3.0"
    )
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...