Spark Local против кластера

Question

Что такое кластер Spark, эквивалентный локальному [N] автономному.Я имею в виду, значение, которое мы устанавливаем как параметр local как N, какой параметр принимает его в режиме кластера?

Answer 1

В режиме cluster один исполнитель будет работать на одном рабочем узле, а это означает, что один исполнитель получит все ядра на рабочем узле. Это может привести к недоиспользованию ресурсов. Имейте в виду, что драйвер также займет один рабочий узел.

Answer 2

In local[N] - N - максимальное количество ядер, которое можно использовать в узле в любой момент времени.

В режиме кластера вы можете установить --executor-cores N. Это означает, что каждый исполнитель может одновременно выполнить максимум 10000 * задач в исполнителе.