Google Cloud datapro c --files не работает

Question

Я хочу скопировать некоторые файлы свойств в master и worker при отправке искрового задания, поэтому, как указано в do c, я использую --files для копирования файлов в рабочий каталог исполнителей. но команда ниже ничего не копирует в рабочий каталог исполнителей. Так что у кого-нибудь есть идея, пожалуйста, поделитесь.

gcloud dataproc jobs submit spark --cluster=cluster-name --class=dataproc.codelab.word_count.WordCount --jars=gs://my.jar --region=us-central1 --files=gs://my.properties -- gs://my/input/ gs://my/output3/

Answer 1

Согласно официальной документации Spark , когда Spark работает на Yarn, исполнитель Spark будет использовать локальный каталог, настроенный для Yarn в качестве рабочего каталога, который по умолчанию - /hadoop/yarn/nm-local-dir/usercache/{userName}/appcache/{applicationId}.

Итак, исходя из вашего описания, если доза появляется там, значит, она работает должным образом.