Я делаю проект ML для кластеров AWS EMR и использую загрузчик для настройки моей среды. Я сталкиваюсь с очень распространенной проблемой, когда мои модули (в данном случае файл .py, который я создал) не установлены на моих рабочих узлах.
Мой рабочий процесс состоит в том, чтобы кодировать в файл .py и внедрять в записную книжку Jupyter, и постоянное обновление файла .py не будет отправлено ни на один из рабочих узлов.
Есть ли какой-нибудь простой способ для рабочих узлов отслеживать изменения в главном узле или отправлять py-файлы рабочим узлам из главного узла? Из моего понимания начальная загрузка происходит только при создании кластера EMR.
ModuleNotFoundError: No module named 'src'