Проблема с зависимостью Hadoop в докере - PullRequest
Новая
       8

Проблема с зависимостью Hadoop в докере

0 голосов
/ 15 октября 2018

Это моя зависимость SBT для Spark-S3 в образе докера: 

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.3.0" 
exclude("org.lz4", "lz4-java-1.4.0")
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.3.0" 
exclude("org.lz4", "lz4-java-1.4.0")
libraryDependencies += "org.apache.spark" %% "spark-sql-kafka-0-10" % "2.3.0"
libraryDependencies += "com.bdbizviz.dp" %  "dp_entities_2.11" % "1.0.3-SNAPSHOT"
libraryDependencies += "com.bdbizviz.dp" % "kafka_2.11" % "1.0.0-SNAPSHOT"
libraryDependencies += "com.databricks" %% "spark-avro" % "4.0.0"
libraryDependencies += "com.databricks" %% "spark-csv" % "1.5.0"
dependencyOverrides += "com.fasterxml.jackson.core" % "jackson-core" % "2.8.9"
dependencyOverrides += "com.fasterxml.jackson.core" % "jackson-databind" % "2.8.9"
dependencyOverrides += "com.fasterxml.jackson.module" % "jackson-module-scala_2.11" % "2.8.9"
libraryDependencies += "org.apache.hadoop" % "hadoop-aws" % "3.1.1"
libraryDependencies += "com.amazonaws" % "aws-java-sdk-s3" % "1.11.271"
dependencyOverrides += "org.apache.hadoop" % "hadoop-hdfs" % "3.1.1"
dependencyOverrides += "org.apache.hadoop" % "hadoop-client" % "3.1.1"
libraryDependencies += "com.bdbizviz.dp"%"logger_2.11"%"1.0.1-SNAPSHOT"

Он работает для локального кластера Kubernetes.Но при развертывании того же изображения в AWS-EKS я получаю следующую ошибку: 

exception in thread "main" java.lang.NoSuchMethodError: 
org.apache.hadoop.conf.Configuration.reloadExistingConfigurations()V

Как я могу исправить эту ошибку?

...