Я пытаюсь настроить удаленный кластер Spark 2.4.5 в Ubuntu 18. После запуска ./sbin/stat-master.sh WebUI доступен на <INSTANCE-IP>:8080, но на нем отображается «Spark Master at spark: // spark-master: 7077». "где spark-master - мое имя хоста на удаленной машине.
Я могу запустить работника только с ./sbin/start-slave.sh spark://spark-master:7077, но <INSTANCE-IP>:4040 не работает. Когда я пытаюсь ./sbin/start-slave.sh spark://<INSTANCE-IP>:7077, я вижу процесс, но рабочий не отображается в WebUI.
В результате я не могу подключиться к кластеру с локального компьютера с помощью spark-shell --master spark://<INSTANCE-IP>:7077. Ошибка:
StandaloneAppClient$ClientEndpoint: Failed to connect to master <INSTANCE-IP>:7077