Запустив Spark и используя Spark UI, все работает нормально.После того, как мастер работает в течение дня или двух, мы начинаем замечать, что завершенные рабочие журналы начинают превращаться только в текст, а не в URL для просмотра журналов приложений и драйверов.
Чистый диск для каждого работника составляет 250 ГБ, поэтому у нас нет проблем с нехваткой места.Каталог журнала также составляет 250 ГБ.У обоих есть тонны свободного места.
Есть ли значение хранения, которое необходимо установить в файле конфигурации по умолчанию, которое позволит им существовать в течение более длительного периода?
Например, у нас есть4 рабочих, 3 рабочих рабочих URL больше не доступны.Только для того, кто поделился с мастером.Если мы перезапустим мастер или начнем новую работу, мы увидим рабочий URL в разделе выполненных работ.Большинство этих заданий выполняются в 4 часа утра, кажется, после 14:00 или около того они начинают исчезать - это означает, что рабочий URL-адрес превращается в текст, а ссылка больше не доступна.При проверке каталогов dd-файл app все еще существует, но каталог драйверов существует, а stdout - нет.Это похоже на то, как процесс уборщика удалил стандартный вывод через некоторое время.
Мы проверяли документы и заметили несколько параметров, которые выглядят так, как будто они могут быть связаны с этим.
spark.history.retainedApplications=50
spark.executor.logs.rolling.*
spark.deploy.retainedApplications=200
spark.deploy.retainedDrivers=200
Кто-нибудь знает, что вызывает это или как мы можем увеличить время или итоги?Спасибо.