Тестирование производительности в Кафке

Question

Может кто-нибудь объяснить, как тестируется производительность в Кафке, используя

bin/kafka-consumer-perf-test.sh --topic benchmark-3-3-none \
--zookeeper kafka-zk-1:2181,kafka-zk-2:2181,kafka-zk-3:2181 \
--messages 15000000 \
--threads 1

и

bin/kafka-producer-perf-test.sh --topic benchmark-1-1-none \
--num-records 15000000 \
--record-size 100 \
--throughput 15000000 \
--producer-props \
acks=1 \
bootstrap.servers=kafka-kf-1:9092,kafka-kf-2:9092,kafka-kf-3:9092 \
buffer.memory=67108864 \
compression.type=none \
batch.size=8196

Мне не ясно, что это за параметры и что выводдолжно быть получено.Как я буду проверять, отправляю ли я 1000 сообщений на темы Кафки, их производительность и подтверждение.

Answer 1

Когда мы запустим это, мы получим следующее:

Производитель

  | start.time | end.time | compression | message.size | batch.size | total.data.sent.in.MB | MB.sec | total.data.sent.in.nMsg | nMsg.sec | 
 | 2016-02-03 21:38:28:094 | 2016-02-03 21:38:28:449 | 0 | 100 | 200 | 0.01 | 0.0269 | 100 | 281.6901 |

Где,

• total.data.sent.in.MB показывает общее количество данных, отправленных в кластер, в мегабайтах.

• MB.sec указывает, сколько данных передается в мегабайтах в секунду (пропускная способность по размеру).

• total.data.sent.in.nMsg покажет общее количество сообщений, отправленных во время этого теста.

• И последний nMsg.sec показывает, сколько сообщений отправлено в секунду (Пропускная способность на количество сообщений

Потребитель

| start.time | end.time | fetch.size | data.consumed.in.MB | MB.sec | data.consumed.in.nMs | nMsg.sec |
| 2016-02-04 11:29:41:806 | 2016-02-04 11:29:46:854 | 1048576 | 0.0954 | 1.9869 | 1001 | 20854.1667

где,

• start.time, end.time покажет, когда тест был запущен и завершен.

• fetch.size ** показывает объем данныхдля извлечения в одном запросе.

• data.consumed.in.MB **** показывает размер всех использованных сообщений.

• *** MB.sec * показывает, сколькоданные, передаваемые в мегабайтах в секунду (пропускная способность по размеру).

• data.consumed.in.nMsg покажет общее количество сообщений, которое было использовано во время этого теста.

• И последний nMsg.sec показывает, сколько сообщений потребляется в секунду (пропускная способность по количеству сообщений).

Answer 2

Я бы предпочел обратиться к специализированному инструменту для тестирования производительности, например Apache JMeter и Pepper-Box - Kafka Load Generator , чтобы выполнить нагрузочное тестирование вашей установки Kafka.

Таким образом, вы сможете выполнять загрузку, полностью контролируя потоки, время разгона, размер сообщения и его содержимое, и т. Д. Вы также сможете создавать панель отчетов HTML имея таблицы и графики с интересными показателями.

См. Статью Apache Kafka - Как загрузить тест с JMeter , чтобы получить более подробную информацию, если это необходимо.