Искра: раб не может подключиться к мастеру - PullRequest
Новая
       18

Искра: раб не может подключиться к мастеру

0 голосов
/ 08 ноября 2019

Я пытаюсь настроить автономный искровой кластер на 2 компьютерах в сети моей организации. Обе машины - Ubuntu 16.04 с одинаковой конфигурацией.

Существует настройка ssh без пароля от главного к подчиненному и от подчиненного к главному.

Конфигурация главного и подчиненного узла упомянута ниже.

Мастер конфигурация: 

Spark-version: 2.4.4
/etc/hosts : 10.x.x.2 master
             10.x.x.3 slave01
            127.0.0.1 dm.abc.net localhost dm
            127.0.1.1 
            10.x.x.4  dm.abc.net dm
            10.x.x.5  abc.net

/usr/local/spark/conf/slaves: 10.x.x.3

/usr/local/spark/conf/spark-env.sh: export SPARK_MASTER_HOST='10.x.x.2'
                                    export SPARK_LOCAL_IP='10.x.x.2'
                                    export JAVA_HOME='/usr/lib/jvm/java-8-openjdk-amd64/jre/'

Конфигурация подчиненного устройства: 

Spark-version: 2.4.4
/etc/hosts : 10.x.x.2 master
             10.x.x.3 slave01
            127.0.0.1 dm1.abc.net localhost dm1
            127.0.1.1 
            10.x.x.4  dm1.abc.net dm1
            10.x.x.5  abc.net

/usr/local/spark/conf/slaves: 10.x.x.3

/usr/local/spark/conf/spark-env.sh: export SPARK_MASTER_HOST='10.x.x.2'
                                    export SPARK_LOCAL_IP='10.x.x.3'

Я пытаюсь выполнить следующую команду на мастере: /usr/local/spark/sbin/start-all.sh

Но я продолжаю получать: Не удалось подключиться к мастеру. Ошибка в журнале slave . Любые указатели.

...