У нас работает кластер из 6 брокеров Kafka (версия 2.3) на AWS EC2 (r5.xlarge, 4vcpu, 32 ГБ, EBS GP2 / 2TB). При замене экземпляра (например, для изменения типа EBS), где новый экземпляр имеет нулевые данные - мы видим 100% загрузку ЦП, когда он начинает получать данные. Однако примерно через 15 минут - загрузка ЦП падает, и репликация идет очень медленно, и у потребителей (потоки Kafka) возникают проблемы с подключением к этому брокеру. __consumer_offsets особенно обрабатывает очень медленно.
- В настоящее время у нас есть более 1000 разделов, назначенных брокеру одновременно.
- num.replica.fetchers = 2, поэтому не очень высокий ,
- Java размер кучи равен 10G
Конечно, мы попытались сбросить процессор, но, похоже, что даже до 16vcpu - мы все еще достигаем 100% CPU , Является ли репликация сильно связанной с процессором, в зависимости от количества разделов, или она больше связана с IOPS (или с обеими)?