Как сохранить завершенные приложения после перезапуска сервера пряжи в spark web-ui - PullRequest
Новая
       21

Как сохранить завершенные приложения после перезапуска сервера пряжи в spark web-ui

0 голосов
/ 22 мая 2019

Я использую менеджер ресурсов пряжи для искры.после перезапуска сервера пряжи все выполненные задания в spark-webui исчезли.

Ниже приведены два свойства, добавленные в yarn-site.xml. Может кто-нибудь объяснить мне, в чем может быть причина, и есть ли какое-либо свойство для управления этим. 

<property>
      <name>yarn.log-aggregation-enable</name>
      <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>86400</value>
</property>

Спасибо.

1 Ответ

0 голосов
/ 22 мая 2019

Вы можете сохранить историю приложений при перезапусках, если вы установите yarn.resourcemanager.recovery.enabled на true в вашем yarn-site.xml и установите yarn.resourcemanager.store.class.

См. ResourceManger Restart для дальнейшего использованиядетали.

Другие ваши записи относятся к ведению журнала и определяют, как долго вы хотите, чтобы завершенные журналы оставались до очистки.Подробнее о них можно прочитать в yarn-default.xml .

...