Сервер Spark History не отображает завершенные банки - PullRequest
Новая
       39

Сервер Spark History не отображает завершенные банки

1 голос
/ 02 мая 2019

Я запускаю автономные задания Spark в Windows.Я хотел бы контролировать свои работы Spark с помощью сервера истории искр.Я запустил сервер истории искр с приведенной ниже командой, и сервер истории успешно запустился. 

C:\Users\Documents\Prev_D_Folder\Softwares\Softwares\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7\bin>spark-class.cmd org.apache.spark.deploy.history.HistoryServer

enter image description here

Я выполнил работу локально, но сервер истории не запустилсписок всех выполненных заданий.

Содержимое моего файла spark spark-defaults.conf: 

spark.eventLog.enabled           true
spark.eventLog.dir               file:///C:/Users/m1047320/Documents/logs
spark.history.provider = org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory   file:///C:/Users/m1047320/Documents/logs-hist

У меня есть разрешения на чтение, запись и выполнение для обоих каталогов журналов.

Ответы [ 2 ]

0 голосов
/ 19 июля 2019

все параметры, опубликованные в вопросе, остаются такими же, как и все, что мне нужно добавить -

Dspark.eventLog.enabled = true -Dspark.history.fs.logDirectory = file: /// C: / sparkhistorylogs-Dspark.eventLog.dir = file: /// C: / sparkhistorylogs при отправке приложения spark или настройке в Vmoptions в intelliji.

Я пропустил предыдущий шаг, поэтому сервер истории не отображал завершенные задания.Теперь я могу получить доступ к информации о выполненной работе через сервер истории на https://localhost:18080

0 голосов
/ 02 мая 2019

Каталог для spark.eventLog.dir и spark.history.fs.logDirectory должен быть одинаковым.

Из документации spark.eventLog.dir - это базовая директория журнала:

Базовый каталог, в котором регистрируются события Spark, если для spark.eventLog.enabled задано значение true. В этом базовом каталоге Spark создает подкаталог для каждого приложения и регистрирует события, специфичные для приложения, в этом каталоге [...]

Пока spark.history.fs.logDirectory настраивает каталог, который сервер истории использует для чтения журналов:

Для поставщика истории файловой системы - URL-адрес каталога, содержащего журналы событий приложений для загрузки.

Причина, по которой вы не можете найти завершенные задания, связана с тем, что сервер истории читает пустой каталог.

...