Как получить доступ к веб-интерфейсу spark с помощью экземпляра GCP? - PullRequest
Новая
       2

Как получить доступ к веб-интерфейсу spark с помощью экземпляра GCP?

2 голосов
/ 23 марта 2020

Я использую spark на экземпляре Google Cloud Platform (hana express).

Я установил spark и запустил spark shell, тогда оболочка работает нормально, но я не могу получить доступ к интерфейсу spark web.
Я добавил правила противопожарной стены в экземпляр, но все еще не работает.
Я добавил снимок экрана.
image

Спасибо.

1 Ответ

0 голосов
/ 23 марта 2020

Просмотрите сообщения консоли: 

...
Spark context Web UI available at http://sap-hanaexpress-serverinclapps-1-vm.c.hana.271411.internal:4040
...

Вы не можете подключиться к веб-интерфейсу, работающему на http://sap-hanaexpress-serverinclapps-1-vm.c.hana.271411.internal:4040, с вашего удаленного P C. Как упоминалось @ Lamanus , эта запись предназначена только для внутреннего использования. Ознакомьтесь с документацией Внутренний DNS :

Виртуальные частные облачные сети в Google Cloud имеют внутреннюю службу DNS , которая позволяет экземплярам в одной сети обращаться друг к другу с помощью используя внутренние DNS-имена . Внутренние записи A для экземпляров виртуальных машин (VM) создаются в зоне DNS для .internal. Записи PTR для экземпляров VM создаются в соответствующих обратных зонах. При управлении вашими экземплярами Google Cloud автоматически создает, обновляет и удаляет эти записи DNS.

и

Внутреннее имя DNS экземпляра виртуальной машины разрешается только в его основной внутренний IP-адрес. Внутренние DNS-имена нельзя использовать для подключения к внешним IP-адресам экземпляра .

Для решения этой проблемы выполните следующие действия:

  1. добавьте SPARK_LOCAL_IP="<IP address>" к вашему файлу конфигурации, как это предлагается в сообщениях консоли, где IP address - локальный IP-адрес вашей виртуальной машины
  2. установите сетевой тег для вашей виртуальной машины
  3. создать правило брандмауэра , чтобы разрешить входящие подключения к вашей виртуальной машине через порт 4040
  4. проверить брандмауэр, запустив nmap -Pn EXTENAL_IP_OF_YOUR_VM с вашей проверки p c
  5. Веб-интерфейс через браузер http://EXTENAL_IP_OF_YOUR_VM:4040
...