Разница в программе Spark в локальном режиме и кластере

Question

Если я пишу программу spark и запускаю ее в автономном режиме, и когда я хочу развернуть ее в кластере, нужно ли мне менять свои программные коды или не нужно никаких изменений в кодах?Является ли искровое программирование независимым от количества кластеров?

Answer 1

Вам просто нужно установить параметр master в yarn или другой менеджер ресурсов, если вы хотите запустить его в кластере.Если вы хотите запустить его локально, просто используйте local[*], используя количество потоков, равное ядру вашей машины.

Answer 2

Не думаю, что вам нужно вносить какие-либо изменения.Ваша программа должна работать так же, как и в локальном режиме.

Да, программы Spark не зависят от кластеров до тех пор, пока вы не используете что-то конкретное для кластера.Обычно этим управляет пряжа.