Ошибка локальной загрузки файла в приложении spark

Question

В моем коде я пытаюсь загрузить файл, который находится на моем локальном компьютере, в приложение spark, sc.textFile ("file: /// home / testpath / file1“).

Когда яотправить задание в командной строке

Сценарий 1: spark submit --class… master local

Задание успешно выполнено без каких-либо проблем.

Сценарий 2: spark submit --class…. - мастер-пряжа - кластер режима развертывания

Задание не выполнено из-за сброса файла: /// home / testpath / file1 файл не найден Исключение.

Но когда я тестировал file1 .... Файл существует на моем локальном компьютере.

Сценарий 3: спарк-отправка - класс ... - мастер-пряжа - клиент режима развертывания

Задание не выполнено из-за выброса файла: /// home / testpath / file1файл не найден Исключение.

Но когда я проверял файл1 ,, файл существует на моем локальном компьютере.

Сценарий 4: spark-shell —master = yarn

Val file1 = sc.textFile ("file: /// home / testpath / file1“).

Задание не выполнено из-за создания файла: /// home / testpath / file1 file not found Exception.

В файле core-site.xml для свойства fs.default.name задано значение hdfs: // mynamenode: 9000

Не могли бы вы помочь мне, как загрузить локальный файл в мое приложение spark?(Используется версия spark 2.X)

Есть идеи?Заранее спасибо.

Answer 1

Когда режим исполнения spark локальный, задания на исполнение spark выполняются на том же локальном узле и, следовательно, он может найти файл.Но в режиме пряжи рабочие задания планируются случайным образом на любом из узлов кластера.Таким образом, вы можете переместить ваш файл в HDFS или сохранить копию этого файла на каждом узле