У меня есть Kafka Connect Sink, пишущий записи с топки Kafka c на S3. Это работает, но это слишком медленно. Kafka topi c получает ~ 30 тыс. Мсг / с c. Connect Sink не в состоянии угнаться Я пытался увеличить Kafka Connector tasks.max с 1 до 3, что создавало больше задач, но, похоже, это не помогло улучшить скорость msg / se c. Я пытался увеличить выделение ЦП рабочим Kafka Connect, но это тоже не помогло.
Что еще можно попробовать? Какие показатели было бы полезно отслеживать для дальнейшего выявления узкого места?
ОБНОВЛЕНИЕ: топика Kafka c имеет 5 разделов. Кластер Kafka имеет 5 брокерских серверов. Kafka Connect работает в кластере Kubernetes и использует последнюю версию Confluent Kafka Connect 5.4.0. Брокеры Kafka работают на гораздо более старой версии.