Неравномерное распределение заданий среди искровых исполнителей - PullRequest
0 голосов
/ 11 июня 2019

Я использую Spark-Streaming 2.2.1 на производстве, и в этом приложении я читаю данные из RabbitMQ и выполняю дальнейшую обработку и, наконец, сохраняю их в кассандре.Итак, я сталкиваюсь с этой странной проблемой, когда количество задач не распределяется равномерно среди исполнителей на одном из узлов.Я возобновил потоковую передачу, но проблема не исчезла. enter image description here

Как вы можете видеть на 10.10.4.72, у меня 2 исполнителя.Тот, который работает на 41893 порту, завершил ок.удвоить количество задач на остальных узлах (10.10.3.73 и 10.10.3.72).где в качестве исполнителя, работающего на 33451 , порт на 10.10.4.72 выполнил только 18 задач.И эта проблема не исчезнет, ​​даже если я перезапущу свой искровой поток.

Редактировать вопрос После 12 часов, как вы можете видеть на изображении ниже, тот же исполнитель не выполнил ни одной задачи за это время.

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...