Я запускаю свой сервер DASK на hp c, где у меня есть все основные c необходимые модули для запуска dask, и я загружаю этот модуль в блокнот jupyter. Я хотел бы запустить некоторую задачу обработки, используя dask и модули, которые недоступны в базовой среде dask. Для этого у меня есть собственная среда, созданная с помощью conda. Есть ли простой способ связать эту новую среду кондоминиума с клиентом dask перед запуском моей задачи.
Я пробовал использовать
from dask.distributed import Client,LocalCluster
client = Client(scheduler_file=schedule_json)
print(client)
client.upload_file('condaenvfile.tar')
, также я пробовал использовать client.run(os.system,'conda install -c conda-forge package -y'), но все же я я получаю сообщение о том, что модуль не найден.
Я проясняю свою проблему, чтобы я мог выяснить, есть ли другие альтернативы для решения таких проблем.
import skimage
import dask.distributed import Client
client=Client(schedule_json)
def myfunc(param):
process using skimage
r=[]
for in [list]:
myres=dask.delayed(myfun)(param)
r.append(myres)
allres=dask.compute(*r)
В приведенном выше примере у меня есть модуль dask, работающий на hp c среда, которую я не контролирую, просто могу загрузить этот модуль. У меня есть собственная среда кондоминиума в моем профиле пользователя. Мне нужно запустить какой-то процесс, используя skilearn (и другие модули), используя рабочий dask. Какой альтернативой можно было бы обойти такую проблему?