Не удалось отправить заявку на Python с помощью spark submit

Question

Я сгенерировал файл .egg. Теперь я хочу запустить свое приложение Spark с помощью команды spark-submit в моей локальной Windows. У меня Spark версия 2.1.1

spark-submit --py-files  local:///C:/git_local/sparkETL/dist/sparkETL-0.1-py3.6.egg driver.py

spark-submit --py-files  local:///C:/git_local/sparkETL/dist/sparkETL-0.1-py3.6.egg driver.py

Это код, который я пытаюсь, но я получаю сообщение об ошибке:

File not found(c:\spark\bin\driver.py)

Почему spark-submit пытается найти файл по локальному пути, когда я уже упаковал его в .egg? Я читаю .egg файлы похожи на jar, поэтому я предполагаю, что в случае jar файла мы передаем имя класса для запуска spark-submit. Сейчас я передаю driver.py, который является основным файлом, но он не работает.

Answer 1

spark-submit в этом случае pyspark всегда требует для запуска файл python (в частности, driver.py), py-файлы - это только библиотеки, которые вы хотите присоединить к вашей работе с spark, и, возможно, они используются внутри driver.py.

Если вы хотите, чтобы это работало, убедитесь, что driver.py существует в текущем месте, в котором вы запускаете spark-submit.Или измените его на что-то вроде local: /// C: /git_local/sparkETL/driver.py