Запись файла в каталог с помощью java.io.File.mkdirs () и последующий доступ к нему не работает в режиме спарк-кластера

Question

Когда я пытаюсь запустить тот же код в режиме клиента, код выполняется успешно.Но при запуске в режиме кластера он не может создать файл и выдает сообщение об ошибке Нет такого файла или каталога.

Ниже приведен пример кода:

new File("UnexistingLocation").mkdirs()

---> Каталоги, созданные врежим клиента

---> Код не выдает ошибку в режиме кластера, но я не вижу созданный каталог.Также при создании файла внутри каталога выдается ошибка Нет такого файла или каталога.

Есть ли обходной путь, с помощью которого я мог бы создавать файлы в локальной файловой системе узла драйвера?

Answer 1

из-за вашего анализа ошибок, я предполагаю, что это выполняется в коде, определяемом драйвером. Если вы отправляете, используя --deploy-mode cluster, ваш драйвер будет запущен на произвольном узле, что означает, что именно там находится ваш каталог Он не будет на узле, где вы делаете spark-submit из