Spark Streaming с PubSub-NullPointerException при потоковой передаче из паба sub в Java - PullRequest
Новая
       26

Spark Streaming с PubSub-NullPointerException при потоковой передаче из паба sub в Java

1 голос
/ 24 июня 2019

Мои данные находятся в PubSub, и я хочу передать данные. Я использую dataproc, чтобы запустить мое искровое задание в java. Но задание не выполняется со следующей ошибкой.

19/06/18 06:32:30 WARN org.apache.spark.streaming.scheduler.ReceiverTracker: получатель сообщения об ошибке для потока 0: не удалось получить сообщения - java.lang.NullPointerException на scala.collection.convert.Wrappers $ JListWrapper.iterator (Wrappers.scala: 88) в scala.collection.IterableLike $ class.foreach (IterableLike.scala: 72) в scala.collection.AbstractIterable.foreach (Iterable.scala: 54) в scala.collection.generic.Growable $ class. $ plus $ plus $ eq (Growable.scala: 59) at scala.collection.mutable.ListBuffer. $ plus $ plus $ eq (ListBuffer.scala: 183) at scala.collection.mutable.ListBuffer. $ plus $ plus $ eq (ListBuffer.scala: 45) в scala.collection.TraversableLike $ class.to (TraversableLike.scala: 590) в scala.collection.AbstractTraversable.to (Traversable.scala: 104) в scala.collection.TraversableOnce $ class.toList (TraversableOnce.scala: 294) в scala.collection.AbstractTraversable.toList (Traversable.scala: 104) в org.apache.spark.streaming.pubsub.PubsubReceiver.receive (PubsubInputDStream.scala: 259) в org.apache.spark.streaming.pubsub.PubsubReceiver $$ anon $ 1.run (PubsubInputDStream.scala: 247)

кодовый сегмент, который я использовал,

PubsubUtils.createStream (jssc, "projectId", "TopicName", "subscriptionName", новый SparkGCPCredentials.Builder (). JsonServiceAccount ("абсолютный путь к json, помещенный в dataproc"), StorageLevel.MEMORY_AND_DISK_7 (100) (100); *

...