Таким образом, Apache Atlas запускает Kafka в качестве очереди сообщений под прикрытием, и, по моему опыту, способ, которым они спроектировали очередь Kafka (группа потребителей, которая говорит, что вы должны иметь ТОЛЬКО ОДНОГО потребителя), является проблемой.
Мало того, что когда вы смотрите на код, у потребителя есть время опроса для брокера, 1 секунда, жестко запрограммированного для потребителя.Соедините их вместе, и это означает, что если потребитель не может обработать сообщения от различных производителей (HIVE, Spark и т. Д.) В течение этой секунды, то брокер отключает ТОЛЬКО потребителя и ждет, пока несуществующий потребительзабрать сообщения ...
Мне нужно спроектировать что-то похожее, но это насколько я могу ...
Надеюсь, это несколько поможет ...