Как посеять 10 миллионов сообщений в Кафку?

Question

В соответствии с моим требованием к аналитике в реальном времени, я должен вставить 10 миллионов записей в Kafka, и, кроме того, мне нужно написать пользовательскую логику. Но чтобы выполнить это требование, как я могу заполнить 10 миллионов записей в Kafka за 3-Время 5 минут?

Желательно использовать Spring boot в соответствии с требованиями проекта.Пожалуйста, предложите

Answer 1

Несколько вариантов:

• kafka-connect-datagen , подробно описано в этой статье .

• Производитель командной строки, такой как kafkacat:

  seq 1 10000000 | kafkacat -b localhost:9092 -t testtopic -P
  

  • Для получения более реалистичных данных испытаний используйте в сочетании с Mockaroo

Answer 2

Вы можете создать простого производителя и produce в цикле for. Я сделал это, это работает как шарм. Не забудьте НЕ использовать .flush(), если вы не хотите производить 1 мс / сек ...

Answer 3

Вы можете попробовать инструмент streamsets, он имеет функцию генератора данных.Он генерирует данные быстро.Также это поможет вам с коннектором и потребителем / производителем, фактически вы можете также выполнить некоторую обработку и фильтрацию, так что в идеале почти нет кодирования, и все готово.