Испытание производительности Confluent Kafka-rest - PullRequest
Новая
       54

Испытание производительности Confluent Kafka-rest

0 голосов
/ 24 января 2019

Я развернул kafka-rest-proxy в vm openstack со следующими ресурсами и включил SSL между брокерами kafka-rest-proxy и kafka:

16vCPUs , 44GB RAM, 341GB harddisk.

Kafka-rest-proxy работает просто отлично, я могу создать потребителя, подписаться на тему и использовать записи в соответствии с инструкциями.Я также могу без проблем отправлять сообщения в темы через kafka-rest-proxy.Теперь я хочу подчеркнуть пропускную способность, которую я пытался использовать wrk tool, чтобы добиться этого, и результаты следующие: 

wrk -t32 -c1000 -d30s -H "Accept: application/vnd.kafka.json.v2+json" http://xxx.xxx.xxx.xxx:8082/consumers/my_consumer/instances/my_consumer/records
Running 30s test @ http://xxx.xxx.xxx.xxx:8082/consumers/my_consumer/instances/my_consumer1/records
  32 threads and 1000 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency     1.01s    21.73ms   1.24s    94.83%
    Req/Sec    69.83     77.27   303.00     80.46%
  28681 requests in 30.04s, 4.38MB read
  Socket errors: connect 3, read 0, write 0, timeout 0
Requests/sec:    954.81
Transfer/sec:    149.19KB

Я думаю, что 954 запроса / сек - 149,19 КБ не так много.В приведенном ниже обсуждении они упоминают, что потребитель достигает 1.590000 МБ / с и с некоторой оптимизацией 9.270000 МБ / с:

https://github.com/confluentinc/kafka-rest/issues/2

Ниже приведена моя конфигурация kafka-rest-proxy 

id=kafka-rest-ssl2
zookeeper.connect=zookeepertest1:2181,zookeepertest2:2181,zookeepertest3:2181
bootstrap.servers=SSL://kafkatest1:9093,SSL://kafkatest2:9093,SSL://kafkatest3:9093
client.security.protocol=SSL
client.ssl.truststore.location=/root/client.truststore.jks
client.ssl.truststore.password=serversecret
consumer.request.max.bytes=1048576000
consumer.threads=16
debug=true

Что я могу сделать, чтобы улучшить МБ / с.Я думаю, что 149.19KB не является достаточной скоростью передачи.

Есть ли вероятность того, что проблема с WRK?Как я вижу по ссылке, которую я разместил выше, есть несколько инструментов для отдыха kafka, чтобы проверить производительность, но я не могу выяснить, как именно выполняются эти тесты.

https://github.com/confluentinc/kafka-rest/tree/v5.1.0-rc1/kafka-rest/src/main/java/io/confluent/kafkarest/tools

...