Ошибка при упаковке и развертывании приложения pyspark в кластере с помощью spark-submit

Question

У меня есть структура кода, как показано ниже: -

my_app
    |
    |--- common
    |   |
    |   |---init.py
    |   |---spark
    |       |--init.py
    |    
    |   
    |--- subproject1
    |   |    
    |   |-- init.py
    |   |-- main.py
    |   |--job
    |       |
    |       |--myjob.py
    |       |--init.py
    |---setup.py

Итак, точка входа моего приложения - subproject1 -> main.py. My_app имеет два модуля - общий и подпроект1. По сути, я хочу отправить что-то похожее на мой кластер искр

spark-submit --py-files jobs.egg main.py

Но когда я отправляю, я получаю 2 вопроса: -

1. прежде всего main.py находится в подпроекте внутри my_app.

2. ошибка импорта из main.py при попытке импортировать общий модуль.

Как решить эту проблему?