Невозможно использовать свойство 'max.poll.interval.ms' в потоковой передаче с использованием Kafka

Question

Я читаю около 1 млн. Записей / партий от Kafka с использованием потоковой передачи искры (подход Direct Stream) и выполняю некоторый анализ данных, для обработки которых требуется около 13-15 минут.

Итак, чтобычтобы стабилизировать систему, я решил изменить свойство kafka 'max.poll.interval.ms' в параметрах kafka, чтобы опрос проводился через 15 минут.

var kafkaParams = Map(
     ..
     ..
     "auto.offset.reset" -> "latest",
     "enable.auto.commit" -> (false: java.lang.Boolean),
     "max.poll.interval.ms" -> (900000: java.lang.Integer)
)

Но когда я проверял журналы,он говорит:

WARN ConsumerConfig: предоставлена ​​конфигурация max.poll.interval.ms = 900000, но она не известна.

Это связано сКафка версия, что я не могу использовать это свойство.Я использую версию Kafka (0.10.1.0).

Любая помощь будет принята с благодарностью.

Спасибо!

Answer 1

Не является частью потребительских свойств.Вы можете попробовать spark.streaming.kafka.consumer.poll.ms в конф. Spark.