Apache Kafka Lineage Информация

Question

Есть ли способ получить данные о происхождении для Kafka заданий.

Как, например, у нас есть URL истории работ для всех MapReduce заданий.

Есть ли что-нибудь похожее для Кафки, где я могу получить метаданные Producer , производящего информацию по определенной теме?(например: IP-адрес производителя )

Answer 1

Из коробки нет, не для продюсеров.

Вы можете перечислить клиентские адреса клиентов, но не видеть производителей в теме.

Одним из вариантов может быть поиск в Apache Atlas информации о происхождении, которая является одним из компонентов Stream Messaging Manager компании Hortonwork для анализа информации о подключении Kafka.

В противном случае вы бы застряли, пытаясь заставить производителей отправлять эти данные вместе с сообщениями.