Сохраняйте журналы задания Spark, запущенного на YARN, на сервер запуска - PullRequest
0 голосов
/ 06 ноября 2018

Мне удалось сохранить логи на сервере запуска (сервере, на котором я запускаю задание spark) с помощью клиента пряжи. Но когда я пытаюсь отправить работу в кластер, я сталкиваюсь с ошибкой, говоря, что путь к файлу не существует (очевидно, потому что он работает на исполнителях пряжи). Есть ли способ маршрутизации ведения журнала от искровых исполнителей до запускающего сервера?

...