Я использую API-интерфейс kafka spark Direct, чтобы использовать тему кафки.Когда нагрузка высока, моя искровая работа не поглощает сразу все незафиксированные сообщения, а потребляет небольшие партии за другой.Что приводит к увеличению задержки с течением времени. Я установил для spark.streaming.kafka.maxRatePerPartition очень большое значение.