Пульс, интервал опроса и время ожидания сеанса для Spark Streaming с Kafka - PullRequest
0 голосов
/ 24 января 2019

Использование Spark Streaming с Kafka - прямой подход - Документ

Версия Spark - 2.3.2

Версия Spark Streaming - spark-streaming-kafka-0-10_2.11

Проблема: Необходимо запустить приложение для обработки паром с интервалом в 10 минут, но время ожидания по умолчанию очень меньше 10 минут, так как настроить следующие параметры:

  1. heartbeat.interval.ms
  2. session.timeout.ms
  3. group.max.session.timeout.ms
  4. group.min.session.timeout.ms
  5. max.poll.interval.ms

Учитывая, что интервал между партиями составляет 10 минут.

Кроме того, установка этих значений на определенные значения влияет на все группы потребителей (существующие ите, которые могут быть добавлены в будущем)?

Если да, как настроить эти параметры только для определенной группы потребителей?

...