сервер истории искр в режиме пряжи - PullRequest
Новая
       5

сервер истории искр в режиме пряжи

0 голосов
/ 03 июня 2018

Может ли кто-нибудь помочь понять четкую разницу между spark.eventLog.dir и spark.history.fs.logDirectory?

Также, пожалуйста, свяжите эти свойства с yarn.nodemanager.remote-app-log-dir и mapreduce.jobhistory.done-dir

Пожалуйста, не вставляйтедокументация как ответ :)

Я уже прошел по ссылке ниже, но не смог понять. В чем разница между spark.eventLog.dir и spark.history.fs.logDirectory?

1 Ответ

0 голосов
/ 21 октября 2018

Как сказано в сообщении,

spark.eventLog.dir предназначено для записи журналов, в то время как spark.history.fs.logDirectory - это место, где Spark History Server читает событий журнала.

В некоторых сценариях они могут отличаться - например, некоторое внешнее периодическое задание может перемещать файлы, активно записываемые в местоположение истории

Каталоги журналов Spark должны быть отделены от YARN и MapReduceсервер истории

...