Идентификатор потока данных Kafka

Question

Я новичок в Kafka и пытаюсь построить конвейер для моих журналов apache httpd на mongodb.

У меня есть данные, полученные из Filebeat с Kafka Output .Затем я использую Kstream для чтения из темы и mapValues ​​данных и потоковой передачи в другую тему.Затем данные должны быть удалены с помощью Kafka Connect для базы данных (MongoDB).К сожалению, мои данные из Filebeat не имеют идентификатора.

Как мне создать идентификаторы для них, так как я хотел бы создать уникальный идентификатор и вставить его в документ перед тем, как отправить его в mongodb?Я надеюсь, что это может произойти в преобразовании mapValues;

Answer 1

Я думаю, вы могли бы использовать комбинацию разбиения и смещения для создания уникального идентификатора для каждого сообщения.Возможно, вы захотите добавить тему, если хотите сделать ее уникальной для всех тем.