Есть ли способ гарантировать, что новые работники получат пакет python, отправленный с файлом upload_file, когда они присоединяются к кластеру, как dask-ml делает это при разбросе данных, например:
# Serialize the training data only once to each worker
with parallel_backend('dask', scatter=[digits.data, digits.target]):
search.fit(digits.data, digits.target)
Если новый работник присоединяется к кластеруво время выполнения задания они не выдают модуль и выдают ошибку.
Я полагаю, что существует один способ справиться с загрузкой модулей НИОКР с использованием монтирования EFS, которое символически ссылается на пакеты сайтов, которые рабочие, сервер ноутбука Jupyter ипланировщик крепления.Хотя было бы неплохо просто использовать что-то одно в строках upload_file.