Если вы хотите, чтобы журналы драйверов находились на локальном диске, с которого вы звонили spark-submit, то вы должны подать заявку в режиме клиента.
В противном случае драйвер запускается на любом возможном узле в кластере.
Теоретически вы могли бы связать ваши журналы Spark / Hadoop / YARN с таким решением, как Fluentd или Filebeat, направить журналы, например, в Kafka или в поток необработанных сокетов, а затем прочитать их обратно в Spark, однако это может быть слишком сложно. для ваших нужд.