Ошибка Spark-submit - Невозможно загрузить основной класс из файла JAR

Question

Я пытаюсь запустить на Hadoop с Spark, но у меня появляется ошибка «Не удается загрузить основной класс из файла JAR».

Как я могу это исправить?

Answer 1

Попробуйте скопировать main.py и дополнительные файлы Python в локальный путь file:// вместо того, чтобы указывать их в hdfs.

Вам также необходимо передать дополнительные файлы Python с аргументом --py-files из локального каталога.

Предполагая, что вы копируете файлы python в свой рабочий каталог, из которого вы запускаете spark-submit, попробуйте следующую команду:

spark-submit \
 --name "Final Project" \
 --py-files police_reports.py,three_one_one.py,vehicle_volumn_count.py \
 main.py