Scala Код Spark для создания бросков GCP Publisher: java .lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument - PullRequest
Новая
       44

Scala Код Spark для создания бросков GCP Publisher: java .lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument

0 голосов
/ 15 февраля 2020

Я пытаюсь опубликовать sh сообщений в topi c в GCP Pub / Sub, используя Spark Scala, используя IntelliJ. Вот код: GcpPubli sh. scala

val publisher = Publisher.newBuilder(s"projects/projectid/topics/test")
                .setCredentialsProvider(FixedCredentialsProvider
                .create(ServiceAccountCredentials
                .fromStream(new FileInputStream("gs://credsfiles/projectid.json"))))
                .build()

publisher.publish(PubsubMessage
         .newBuilder
         .setData(ByteString.copyFromUtf8(JSONData.toString()))
         .build())

И это build.sbt: 

name := "TryingSomething"

version := "1.0"

scalaVersion := "2.11.12"

val sparkVersion = "2.3.2"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.3.2" % "provided",
  "org.apache.spark" %% "spark-sql" % "2.3.2" ,
  "com.google.cloud" % "google-cloud-bigquery" % "1.106.0",
  "org.apache.beam" % "beam-sdks-java-core" % "2.19.0" ,
  "org.apache.beam" % "beam-runners-google-cloud-dataflow-java" % "2.19.0",
  "com.typesafe.scala-logging" %% "scala-logging" % "3.1.0" ,
  "org.apache.beam" % "beam-sdks-java-extensions-google-cloud-platform-core" % "2.19.0" ,
  "org.apache.beam" % "beam-sdks-java-io-google-cloud-platform" % "2.19.0" ,
  "com.google.apis" % "google-api-services-bigquery" % "v2-rev456-1.25.0" ,
  "com.google.cloud" % "google-cloud-pubsub" % "1.102.1",
  "com.google.guava" % "guava" % "28.2-jre",
  "org.apache.httpcomponents" % "httpclient" % "4.5.11"
)

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case _ => MergeStrategy.first
}

, но когда я создаю толстую банку и запускаю ее кластер Dataprocs Я получаю следующую ошибку: 

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;I)V
    at com.google.api.gax.grpc.InstantiatingGrpcChannelProvider$Builder.setPoolSize(InstantiatingGrpcChannelProvider.java:527)
    at com.google.api.gax.grpc.InstantiatingGrpcChannelProvider$Builder.setChannelsPerCpu(InstantiatingGrpcChannelProvider.java:546)
    at com.google.api.gax.grpc.InstantiatingGrpcChannelProvider$Builder.setChannelsPerCpu(InstantiatingGrpcChannelProvider.java:535)
    at com.google.cloud.pubsub.v1.Publisher$Builder.<init>(Publisher.java:633)
    at com.google.cloud.pubsub.v1.Publisher$Builder.<init>(Publisher.java:588)
    at com.google.cloud.pubsub.v1.Publisher.newBuilder(Publisher.java:584)

Я следовал решениям, указанным здесь , и добавил зависимости guava и httpcomponents, но я все еще получаю то же исключение.

Я даже изменил код для создания экземпляра Publisher: 

val publisher = Publisher.newBuilder(s"projects/projectid/topics/test").build()

Но это также дает такую ​​же ошибку.

Есть предложения, что может вызвать эту ошибку?

1 Ответ

0 голосов
/ 19 февраля 2020

Проблема заключалась в том, что и Spark, и Had oop ввели свои собственные версии гуавы, также присутствующие в пакете Google Pubsub. Я справился с этим, добавив правила затенения в файл build.sbt: 

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("com.google.common.**" -> "repackaged.com.google.common.@1").inAll,
  ShadeRule.rename("com.google.protobuf.**" -> "repackaged.com.google.protobuf.@1").inAll,
  ShadeRule.rename("io.netty.**" -> "repackaged.io.netty.@1").inAll
)

Правило затенения для com.google.common и com.google.protobuf - это правило, которое решает зависимости гуавы. Я добавил другие для последующих конфликтов зависимостей, с которыми я столкнулся на пути.

...