установка искрового кластера в Digital Ocean

Question

Я пытаюсь настроить искровой кластер в DigitalOcean и создал там главный и два подчиненных узла;Мне не удалось подключиться к мастеру с помощью метода pispark setMaster (), несмотря на то, что есть неиспользуемые исполнители и много доступной оперативной памяти.

Я получаю ошибку: начальная работа не приняла никаких ресурсов;проверьте интерфейс кластера, чтобы убедиться, что работники зарегистрированы и имеют достаточные ресурсы.

Мой файл spark-env.sh в master выглядит так:

export SPARK_MASTER_HOST='<MASTER IP ADDRESS>'
export JAVA_HOME='/usr/lib/jvm/java-8-oracle'
export SPARK_LOCAL_IP='<MASTER IP ADDRESS>'

Файл spark-env.sh в slave выглядит следующим образом:

export SPARK_MASTER_HOST='<MASTER IP ADDRESS>'
export JAVA_HOME='/usr/lib/jvm/java-8-oracle'
export SPARK_LOCAL_IP='<SLAVE IP ADDRESS>'

Я пытался использовать Private Ip для SPARK_MASTER_HOST, а также для SPARK_LOCAL_IP, но ошибка не исчезла.Что я делаю неправильно?

Answer 1

Возможно, вы уже исправили это.Но ниже приведены шаги, которые я выполнял и работал для меня.

1. Перейдите в каталог Spark-> Conf *
2. Создайте копию файла spark-env.sh.template и введите имяпросто spark-env.sh
3. Открыть этот файл (nano spark-env.sh или в любом другом редакторе)
4. Установить значение SPARK_PUBLIC_DNS (SPARK_PUBLIC_DNS = XX.XX.XX.XX).Этот IP будет общедоступным IP-адресом вашего DO.
5. Разрешить порт 4040 в брандмауэр (Поскольку пользовательский интерфейс работает через порт 4040, поэтому вам нужно включить его. Ufw enable 4040 / tcp).
6. Измените каталог на SPARK_HOME.
7. bin / spark-shell (Это откроет spark shell в вашем терминале)
8. В случае успеха вы заметите, что веб-интерфейс прослушивает * порт 1019 *.
9. Как только вы получите приглашение scala, откройте браузер в вашей системе и попробуйте получить доступ к этому URL (http://XX.XX.XX.XX:4040) и Bingo !! ваш URL-адрес работы будет виден.

Я надеюсь, что это поможет вам. Пожалуйста, не обращайте внимания, если вы уже нашли решение самостоятельно.

Удачного кодирования. Приветствия !!