Я использую Spark-Streaming 2.2.1 на производстве, и в этом приложении я читаю данные из RabbitMQ и выполняю дальнейшую обработку и, наконец, сохраняю их в кассандре.Итак, я сталкиваюсь с этой странной проблемой, когда количество задач не распределяется равномерно среди исполнителей на одном из узлов.Я возобновил потоковую передачу, но проблема не исчезла.
Как вы можете видеть на 10.10.4.72
, у меня 2 исполнителя.Тот, который работает на 41893 порту, завершил ок.удвоить количество задач на остальных узлах (10.10.3.73
и 10.10.3.72
).где в качестве исполнителя, работающего на 33451 , порт на 10.10.4.72
выполнил только 18 задач.И эта проблема не исчезнет, даже если я перезапущу свой искровой поток.
Редактировать вопрос После 12 часов, как вы можете видеть на изображении ниже, тот же исполнитель не выполнил ни одной задачи за это время.