Выбираются ли spark.files до запуска процесса JVM в исполнителях? - PullRequest
0 голосов
/ 31 января 2019

В среде с Mesos и dockerized executors, если задан параметр конфигурации spark.files, добавляются ли эти файлы в docker до запуска процесса JVM каждого исполнителя?

1 Ответ

0 голосов
/ 04 июня 2019

spark.files - это опция CLI, анализируемая бегуном Spark JVM, поэтому контейнер запускается до загрузки файлов

...