Я запускаю искровое задание с кластером из 4 узлов.Кластер автоматически масштабируется, поэтому при высокой нагрузке количество узлов увеличивается до 15 узлов.Но во время запуска мы указали количество разделов на основе 4 узлов. Теперь, когда мой кластер масштабируется до 15 узлов, ни один из разделов не остается прежним (назначается во время запуска).Мой вопрос заключается в том, полностью ли я использую свой кластер с тем же количеством разделов, хотя у меня больше нет исполнителей.Или искра внутренне обрабатывает это.
Должен ли я динамически менять ни один из разделов при увеличении кластера ??Если я должен сделать это, как я могу достичь этого в моей работе Spark ??
Любые входные данные высоко ценятся.