Я создал пакет, который я хочу передать каждому узлу исполнителя

Question

Я создал пакет python, который я использую в своем основном файле python, который будет работать на кластере пряжи с использованием spark-submit.Вот шаги, которые я выполнил.

1) Suppose i have package name auditing. auditing has subpackage name abc_pkg_1,abc_pckg_2
2) I have main file test.py where i am using that package
3) I have created egg file for the auditing package using setup.py outside the package.
4) I ran spark-submit with --py-files dist/auditing-0.0.1-py3.6.egg

setup.py (для файла яйца)

from setuptools import setup, find_packages

setup(
    name="auditing",
    version="0.0.1",
    author="Example Author",
    packages=find_packages()
)

test.py:

from auditing import Driver

Получена ошибка в журнале пряжи:

ModuleNotFoundError: No module named 'auditing'

команда для создания файла яйца:

python3 setup.py bdist_egg

Даже вещи не работают в оболочке pyspark.Та же ошибка модуля Не найдено