Как изменить количество исполнителей в локальном режиме?

Question

Можно ли настроить несколько исполнителей для приложения Spark Streaming в локальном режиме, используя некоторые настройки Spark Conf? Пока я не вижу каких-либо изменений в интерфейсе Spark с точки зрения производительности или увеличения числа исполнителей при изменении параметра spark.executor.instances на 4, например.

Answer 1

локальный режим по определению "псевдокластер", который работает в Single JVM. Это означает, что максимальное количество исполнителей составляет 1.

Если вы хотите поэкспериментировать с несколькими исполнителями на локальном компьютере, вы можете создать кластер с парой рабочих, работающих на вашем локальном компьютере. Количество запущенных экземпляров - это максимальное количество исполнителей для ваших задач.

Answer 2

"spark.executor.instances" не учитывается в локальном режиме.

Ссылка - https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-local.html

Local-Mode. В этом нераспределенном режиме развертывания с одной JVM Spark порождает все исполнительные компоненты - драйвер, исполнитель, LocalSchedulerBackend и master - в одной и той же JVM. Параллелизм по умолчанию - это количество потоков, указанное в главном URL. Это единственный режим, в котором для выполнения используется драйвер.

Таким образом, вы можете увеличить количество потоков в JVM до n, передав основной URL-адрес как локальный [n].

Answer 3

Локальный режим - это инструмент разработки, где все компоненты моделируются на одном компьютере. Поскольку одна JVM означает одного исполнителя, изменение количества исполнителей просто невозможно, а spark.executor.instances не применимо.

Все, что вы можете сделать в режиме local, это увеличить количество потоков, изменив основной URL - local[n], где n - это количество потоков.