Использование Spark Streaming с Kafka - прямой подход - Документ
Версия Spark - 2.3.2
Версия Spark Streaming - spark-streaming-kafka-0-10_2.11
Проблема: Необходимо запустить приложение для обработки паром с интервалом в 10 минут, но время ожидания по умолчанию очень меньше 10 минут, так как настроить следующие параметры:
- heartbeat.interval.ms
- session.timeout.ms
- group.max.session.timeout.ms
- group.min.session.timeout.ms
- max.poll.interval.ms
Учитывая, что интервал между партиями составляет 10 минут.
Кроме того, установка этих значений на определенные значения влияет на все группы потребителей (существующие ите, которые могут быть добавлены в будущем)?
Если да, как настроить эти параметры только для определенной группы потребителей?