Мы видим, что драйвер не планирует дополнительные параллельные задания (у нас установлено значение spark.streaming.concurrentjobs, равное 10, несмотря на то, что текущий пакет занимает больше указанного интервала пакета.
Мы иногда видели 3 активных партии, но очень редко. Разница между текущим временем часов и временем последней партии продолжает увеличиваться. Как мы можем получить больше одновременных пакетов для выполнения? Мы потребляем из Кафки, где ничего не изменилось. Раньше это работало раньше, но мы не уверены, в чем проблема.