Пользовательский интерфейс Spark History доступен, но отслеживает ошибки пользовательского интерфейса для текущих приложений - PullRequest
0 голосов
/ 27 января 2020

Я унаследовал кластер, использующий knox, и пытаюсь выяснить, почему сервер истории Spark доступен для выполненных заданий Spark, но пользовательский интерфейс Spark недоступен для выполняющихся приложений Spark.

В этом пользовательском интерфейсе пряжи (который открывается через Knox) ​​есть 5 заполненных приложений пряжи и 1 текущее приложение пряжи. Все искровые приложения: yarn UI exposed via knox

В столбцах Tracking UI доступны следующие ссылки:

Пять ссылок, относящихся к выполненным заданиям, все успешно вызывают пользовательский интерфейс сервера Spark History для эти работы. Если я выдаю cat ${GATEWAY_HOME}/logs/gateway-audit.log, я вижу следующее, когда я нажимаю на любую из этих пяти ссылок:

20/01/27 15:50:55 || 55bef3f3-a52f-4790-97d0- |
20/01/27 15:50:55 || 55bef3f3-a52f-4790-97d0-bd6e5076a293 | аудит | 109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.229 | YARNUI |||| рассылка | uri | http://my-cluster-name-m: 8088 / proxy / application_1580137635209_0001 | недоступен | Запрос метод: GET
20/01/27 15:50:55 || 55bef3f3-a52f-4790-97d0- bd6e5076a293 | аудит | 109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.229 | YARNUI |||| dispatch | uri | http://my-cluster-name-m: 8088 / proxy / application_1580137635209_0001 | success | Response status: 302
20/01/27 15:50:55 ||| аудит | 109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.229 | YARNUI |||| доступ | uri | / gateway / my-cluster -name / пряжи / Prox y / application_1580137635209_0001 | success | Статус ответа: 302

20/01/27 15:50:55 || f7617e15-3bf4-4a8 c -9701-9785894d7884 | аудит | 109.231.200.210, 165.225.80.109 , 34.102.220.138, 130.211.0.234 | SPARKHISTORYUI |||| access | uri | / gateway / my-cluster-name / sparkhistory / history / application_1580137635209_0001 / 1 | недоступен | Метод запроса: GET 20/01/27 15:50: 55 || f7617e15-3bf4-4a8 c -9701-9785894d7884 | аудит | 109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234 | SPARKHISTORYUI |||| рассылка | uri | http://my-cluster-name-m: 18080 / history / application_1580137635209_0001 / 1 / | недоступен | Запрос метод: GET
20/01/27 15:50:55 || f7617e15-3bf4-4a8 c -9701-9785894d7884 | аудит | 109.231. 200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234 | SPARKHISTORYUI |||| dispatch | uri | http://my-cluster-name-m: 18080 / history / application_1580137635209_0001 / 1 / | success | Response статус: 30

и множество других записей журнала для ресурсов пользовательского интерфейса Spark History. Все хорошо. Обратите внимание на запись 302 (перенаправление)

Однако, если я нажму ссылку на текущее приложение, меня отправят на http://my-cluster-name-m: 18080 / history / application_1580137635209_0006 / 1 , который является главный узел кластера, и отображается следующее: enter image description here

В журналах я вижу:

20/01/27 15:58:38 | | aec261d3-7e cc -43a7-8815-d7185ee13833 | аудит | 109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.1.130 | YARNUI ||| доступ | uri | / gateway / my-cluster-name / yarn / proxy / application_1580137635209_0006 | недоступен | Метод запроса: GET
20/01/27 15:58:38 || aec261d3-7e cc -43a7-8815-d7185ee13833 | аудит | 109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.1.130 | YARNUI |||| dispatch | uri | http://my-cluster-name-m: 8088 / proxy / application_1580137635209_0006 | недоступен | Запрос метод: GET
20/01/27 15:58 : 38 || aec261d3-7e cc -43a7-8815-d7185ee13833 | аудит | 109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.1.130 | YARNUI ||| рассылка | uri | http://my-cluster-name-m : 8088 / прокси / application_1580137635209_0006 | success | Response status: 200
20/01/27 15:58:38 ||| аудит | 109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.1. 130 | YARNUI |||| access | uri | / gateway / my-cluster-name / yarn / proxy / application_1580137635209_0006 | success | Статус ответа: 200

Обратите внимание, что там нет 302 записей.

Редактировать: С момента первоначальной публикации этого сообщения я заметил, что если я сразу щелкну по ссылке отслеживания пользовательского интерфейса сразу после запуска приложения, то перейду к деталям приложения пряжи:

yarn app details

Через несколько секунд нажатие на ту же ссылку приведет меня к ошибке, как показано выше.

Я немного растерялся на этом этапе. Может кто-нибудь помочь объяснить, почему я не могу видеть интерфейс Spark для текущих приложений? Любые указания относительно того, как я могу диагностировать, приветствуются.

1 Ответ

0 голосов
/ 29 января 2020

ОК, ответ довольно смущающий. Причина была просто в том, что искровой интерфейс не был включен. Изменение настройки spark.ui.enabled на true решило эту конкретную проблему.

...