Тестирование приложений Kafka Streams - PullRequest
0 голосов
/ 23 октября 2019

Я хотел бы сравнить мое приложение kafka streams со сложной топологией для обработки данных, поступающих из нескольких тем (35).

Существуют ли какие-либо инструменты, приложения, которые могут помочь с этой задачей?

1 Ответ

0 голосов
/ 23 октября 2019

Я думаю, вам нужно сравнить оба слоя по отдельности. Приложение и топология Kakfa .g

Для тестирования приложения предлагается перейти на JMeter.

Для тестирования Kafka в любой настройке или конфигурации, вы можете сделать это с помощью генерации нагрузки. инструменты, которые поставляются с Kafka.

kafka-producer-perf-test

и

kafka-consumer-perf-test.

Инструменты Kafka - * - perf-test могут использоваться несколькими способами. Как правило, ожидается, что эти инструменты будут использоваться в кластере тестирования или разработки.

• Измерение пропускной способности чтения и / или записи.

• Стресс-тестирование кластера на основе определенных параметров (таких каккак размер сообщения)

• Нагрузочное тестирование с целью оценки конкретных метрик или определения влияния изменений конфигурации кластера.

Нам необходимо выполнить нагрузочное тестирование как для производителя, так и для потребителя, чтобыопределите, сколько сообщений может произвести производитель, а потребитель может потребить за определенный период времени.

Ключевые статистические данные, которые мы должны искать, приведены ниже:

  • Пропускная способность (сообщения/ сек) на размер данных
  • пропускная способность (сообщения / сек) на количество сообщений
  • всего сообщений
  • всего данных
...