Apache beam Kafka [Нет преобразователя TransformEvaluator, зарегистрированного для чтения с преобразованием без границ (KafkaUnboundedSource)] - PullRequest
Новая
       9

Apache beam Kafka [Нет преобразователя TransformEvaluator, зарегистрированного для чтения с преобразованием без границ (KafkaUnboundedSource)]

0 голосов
/ 20 сентября 2019

Я использую простое средство чтения Kafka и ключ страны, при работе на спуске я получаю следующую ошибку

Исключение в потоке "main" java.lang.IllegalStateException: TransformEvaluator не зарегистрирован для преобразования UNBOUNDED.(KafkaUnboundedSource) в org.apache.beam.vendor.guava.v26_0_jre.com.google.common.base.Preconditions.checkState (Preconditions.java:588) в org.apache.beam.runners.spark.translation.streaming.StreamingTransformTranslator$ Translator.translateUnbounded (StreamingTransformTranslator.java:560) в org.apache.beam.runners.spark.SparkRunner $ Evaluator.translate (SparkRunner.java:451)

Я не могу ничего получитьоб этой ошибке 

 pipeline
                        .apply(
                                KafkaIO.<String, String>read()
                                        .withBootstrapServers(options.getBootstrap())
                                        .withTopic(options.getInputTopic())
                                        .withKeyDeserializer(StringDeserializer.class)
                                        .withValueDeserializer(StringDeserializer.class)
                                        .withConsumerConfigUpdates(ImmutableMap.of("group.id", (Object) "test1"))
                                        .withoutMetadata())


                        .apply(ParDo.of(new DoFn<KV<String, String>, MetricData>() {....
...