Мы разрабатываем набор микросервисов с использованием Java и Python. Мы используем Kafka в качестве посредника сообщений. Мой опыт в основном составляет Java, а для служб на основе Java мы создаем и потребляем сообщения с помощью Spring Kafka, которая хорошо работает. Со службами Python Kafka - новинка для разработчиков. Они используют клиент kafka- python, но мы, кажется, наблюдаем некоторые текущие проблемы, такие как:
- Ошибки перебалансировки
- Временные метки потребительского смещения не обновляются
- Когда данные поступают после периода бездействия, они не принимаются потребителем, и мы должны перезапускать службу
- Разработчикам необходимо писать дополнительно циклический лог c для очередей опроса
Мой вопрос: должны ли мы справляться со всем этим или это должно работать из коробки? Будем очень признательны за любой опыт / рекомендации или другие клиенты, которых мы должны использовать.