Пожалуйста, дайте один сценарий, когда использовать spark-submit --files

Question

когда использовать --files с spark-submit. что будет внутри? Извините, что задал этот базовый c вопрос, но я не нашел много документации по --files, пожалуйста, приведите какой-либо пример или сценарий ..

Спасибо в adv,

Answer 1

Подробную информацию о параметре можно получить, выполнив spark-submit --help. Вот что это говорит, что довольно ясно. Вы можете использовать его для разрешения зависимости файла, например, распространение файла конфигурации при подаче заявки.

--files FILES               Comma-separated list of files to be placed in the working
                              directory of each executor. File paths of these files
                              in executors can be accessed via SparkFiles.get(fileName).