Задание Kill Dataproc из пользовательского интерфейса Yarn больше не работает - только из пользовательского интерфейса Dataproc

Question

Раньше я мог убивать задания Spark, запущенные на Dataproc, с помощью команды Yarn UI KILL, а не с помощью команды GCP Dataproc UI (которая намного медленнее).Однако я больше не могу этого делать - работает только пользовательский интерфейс GCP.

Что-то изменилось или я что-то не так делаю сейчас?

Я использую Dataproc версии 1.2 (где это работало в прошлом).

Answer 1

Чтобы избежать уязвимостей в безопасности YARN, API-интерфейсы non-get теперь по умолчанию отключены, но пользователи могут изменить его (с осторожностью) при создании кластера или обновить конфигурацию, а затем перезапустить службы Hadoop для запуска кластеров.Кроме того, как упоминалось в заголовке этого вопроса, пользователи могут удалять задания из пользовательского интерфейса Dataproc, что рекомендуется.

Свойство yarn-site.xml yarn.resourcemanager.webapp.methods-разрешено теперь по умолчанию"ПОЛУЧИТЬ, ГОЛОВУ".Это изменение ограничивает методы HTTP, которые можно вызывать в веб-интерфейсе YARN Resource Manager (по умолчанию порт 8088) и API REST, только для GET и HEAD, а также запрещает отправку и изменение заданий через API YARN REST.Вы можете переопределить значения по умолчанию и включить определенные методы HTTP на порту 8088, установив для свойства yarn.resourcemanager.webapp.methods-allow одно или несколько разделенных запятыми имен методов HTTP при создании кластера.Значение ALL позволит использовать все методы HTTP для порта.Пример: кластеры gcloud dataproc создают --properties = 'yarn: yarn.resourcemanager.webapp.methods-разрешено = GET, POST, DELETE' Рекомендация: если вы устанавливаете это свойство так, чтобы разрешать не HTTP-методы по умолчанию, обязательно настройте правила брандмауэраи другие параметры безопасности для ограничения доступа к порту 8088 (см. Кластерные веб-интерфейсы → Избегать уязвимостей безопасности).

Подробнее об этом см. в заметках о выпуске .