медленный ответ от кафки - PullRequest
       8

медленный ответ от кафки

0 голосов
/ 11 октября 2018

У меня есть приложение Spark Streaming (Scala), работающее на CDH 5.13, использующее сообщения от Kafka с использованием клиента 0.10.0.Мой Kafka кластер содержит 3 брокера.Тема Кафки разделена на 12 разделов, равномерно распределенных между этими 3 брокерами.Мой потоковый потребитель Spark имеет 12 исполнителей по 1 ядру в каждом.Иногда, согласно журналам Kafka, ответ возвращается из Kafka более чем через 3 минуты после запроса.В чем может быть причина такой задержки?Может ли эта проблема быть основной причиной, и если да, каково ее решение?

...