Искра Разница между местным и автономным

Question

Если я запускаю Spark с локальным [*], а затем автономно с двумя работниками (оба работника имеют в виду один компьютер), есть ли разница?

Answer 1

Local[*] используется для локального запуска spark с таким количеством рабочих потоков, сколько логических ядер на вашем компьютере. В то время как Local[2] является локальным для запуска локально с двумя потоками. В обоих случаях локальный отладочный код - только количество потоков, которые он создаст во время выполнения.

Answer 2

В автономном режиме вы определяете «контейнеры» для работника и Spark Master для запуска на вашем компьютере (так что вы можете иметь n рабочих и ваши задачи могут быть распределены в JVM этих двух рабочих?), Но в локальном режиме вы просто запускать все в той же JVM на вашей локальной машине с n потоков.