Авто масштабирование кафки Consumer

Question

Scnerio:

I have two Kafka topics : 

  topic1: 1 partition
  topic2: 20 partitions

  topic1 receives 50 messages every hour(processing time of a message 5 sec)
  topic2 receives 1000 - 5000 messages distributed uniformly throughout the day.(processing time of a message 10 sec)

Чтобы использовать сообщение для тем Kafka, у меня есть две группы потребителей. topic1 получает 50 сообщений в час, и для его использования мне нужно, чтобы 1 потребитель всегда был активным. Существует ли механизм, с помощью которого я могу автоматически запускать или останавливать потребителя на основе задержки в topi c?

topic2 принимает сообщения в диапазоне от 1000 до 5000, если число потребителей можно увеличить ( до максимального числа разделов) и уменьшенного (до 1) автоматически в зависимости от запаздывания в топи c?

Answer 1

Короткий ответ: Кафка не предоставляет никаких способов для динамического запуска и остановки потребителей.

---

Тем не менее, я бы сказал, что этого можно достичь, написав собственный трубопровод. Это зависит от того, какие технологии вы используете в настоящее время (и / или хотите использовать в будущем) и как вы в настоящее время отслеживает отставание.