Рабочим узлам не хватает места из-за искровых потоковых приложений, у исполнителей есть файлы jar - PullRequest
0 голосов
/ 24 января 2020

Мое приложение для потоковой передачи с пламенем работает в автономном режиме, завершившие работу исполнители по-прежнему хранят файлы JAR.

Через несколько дней оно начинает давать сбой, поскольку рабочим узлам не хватает места. Как мы можем удалить этих завершенных исполнителей?

1 Ответ

0 голосов
/ 24 января 2020

добавить свойство ниже в spark-env. sh

export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=300 -Dspark.worker.cleanup.appDataTtl=60"
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...