Перенос нескольких модулей в кластер Dask с файловой структурой

Question

Это почти продолжение этого вопроса Передача модуля чистого Python работникам Dask

У меня похожая проблема, за исключением того, что код, который я пытаюсь запустить, распространяется на несколько модулей, некоторые из которых приходят из подкаталога. Для того, чтобы мой код был достаточно хорошо организован, у меня есть основной code_runner, который загружает различные модули из папки «functions» для выполнения ряда этапов обработки данных.

Я понимаю, что могу загружать файлы до кластера Dask, но как я могу это сделать, чтобы структура каталогов поддерживалась, и мой импорт все еще мог работать как "из функции import feature_1 as f1" (например) *. 1007 *

С другой стороны, если я думаю об этом неправильно, есть ли лучший способ подойти к этому с помощью Dask?

Answer 1

Люди обычно разворачивают более сложные программные среды, используя такие инструменты, как Docker, NFS, conda-pack или какой-либо другой механизм. Метод upload_file действительно предназначен как небольшое дополнение к полноценной среде. Доставка в больших сложных программных средах может оказаться за рамками Dask. Мы рекомендуем использовать любой механизм, который вы используете для перемещения по вашему программному обеспечению.