Привет всем: я обнаружил проблему в своем кластере с искровым потоком.
Мы собираем потребителя, чтобы использовать сообщение kafka, используя d-stream, и я считаю, что для каждой партии это занимает около 0,7-0,8 с. Наибольшие затраты времени на каждую партию составляют десериализация задач.
Но есть странная вещь: если исполнителю назначается 1 или более 1 задач, то кажется, что исполнитель выполняет десериализацию очень медленно для первой задачи , и после этого время десериализации в 100 раз быстрее для другие задачи
Кто-нибудь может мне помочь? Спасибо