что мы будем использовать для pyspark для создания проектов?

Question

Хотелось бы знать, что аналогично SBT или MAVEN для SCALA, что мы будем использовать для pyspark при создании проектов?

Answer 1

Это можно сделать с помощью setup.py.Прежде всего, вам нужно создать python egg.

$ python setup.py bdist_egg

Если вы хотите развернуть свое приложение python с использованием spark-submit, вы должны использовать флаг --py-files.

$ spark-submit --py-files project.egg

Если вы собираетесь написать производственный код, я настоятельно рекомендую прочитать этот блог: https://developerzen.com/best-practices-writing-production-grade-pyspark-jobs-cb688ac4d20f#.wg3iv4kie