Попробуйте скопировать main.py и дополнительные файлы Python в локальный путь file:// вместо того, чтобы указывать их в hdfs.
Вам также необходимо передать дополнительные файлы Python с аргументом --py-files из локального каталога.
Предполагая, что вы копируете файлы python в свой рабочий каталог, из которого вы запускаете spark-submit, попробуйте следующую команду:
spark-submit \
--name "Final Project" \
--py-files police_reports.py,three_one_one.py,vehicle_volumn_count.py \
main.py