Задания Spark не отображаются в интерфейсе Hadoop в Google Cloud

Question

Я создал кластер в Google Cloud и отправил отличную работу. Затем я подключился к пользовательскому интерфейсу, следуя этим инструкциям : я создал туннель ssh и использовал его для открытия веб-интерфейса Hadoop. Но работа не появляется.

Некоторая дополнительная информация:

1. Если я подключаюсь к главному узлу кластера через ssh и запускаю spark-shell, это «задание» отображается в веб-интерфейсе hadoop.
2. Я почти уверен, что делал это раньше, и я мог видеть свои работы (как запущенные, так и уже выполненные). Я не знаю, что случилось между ними, чтобы они перестали появляться.

Answer 1

Проблема заключалась в том, что я выполнял свою работу в локальном режиме. Мой код имел .master("local[*]"), который вызывал это. После его удаления задания отображались в интерфейсе Hadoop, как и раньше.