Потоковое задание против зацикленного пакетного задания для использования данных из очереди Kafka

Question

Например, если у меня есть приложение Java, которое всегда работает и читает данные из очереди Kafka по мере их поступления, с целью получения данных и их пересылки в БД ... Есть ли существенный недостаток бесконечно цикл через пакетное задание, а не через Kafka Streaming / Kafka Connect? Учитывая, что я не создаю и не трачу впустую ресурсы в каждом цикле, и что я правильно обрабатываю многопоточность, есть ли серьезные недостатки или причины не делать этого? Это жизнеспособный вариант для долго работающего приложения?

(у меня есть причины не использовать Kafka Streams / Connect с нашим вариантом использования)

Answer 1

Итак, я поговорил со своим штатным инженером. Оказывается, это жизнеспособный вариант - выполнять бесконечный цикл в пакетном режиме, если вы делаете это правильно. Это означает, что вы точно настроили конфигурацию, сделали короткую паузу между циклами, и вы правильно обрабатываете жизнь любых соединений / потребителей / производителей, если они потерпят неудачу. Другая команда уже делает это в среде prod.