Trigger Kafka Consumer при получении данных

Question

У меня есть приложение-производитель, которое отправляет данные в топик Kafka c, но только время от времени, как и когда оно получает от источника. У меня также есть потребительское приложение (Spark), которое постоянно работает и получает данные от Kafka, когда производитель отправляет на него.

Поскольку потребитель продолжает работать все время, время от времени происходит растрата ресурсов. Более того, поскольку мой производитель отправляет данные только время от времени, есть ли способ вызвать потребительское приложение только тогда, когда kafka topi c получает какие-либо данные?

Answer 1

Похоже, вам не следует использовать Spark, а лучше запустить какое-нибудь безсерверное решение, которое может быть запущено для запуска кода на событиях Kafka.

В противном случае запустите Cron, чтобы посмотреть на отставание потребителя. Определите порог для отправки вашего кода, затем пакетное чтение из Kafka только тогда