Пакет Python R & D в распределенном Dask - PullRequest
0 голосов
/ 27 сентября 2018

Опубликовать это здесь, как меня просили, на канале Dask Gitter.

Прямой обмен производственными пакетами в Dask.Мы просто добавляем базовый образ Docker или сценарий запуска для планировщика и рабочих.Во время R & D / Development этот процесс довольно громоздок при быстром внесении изменений в пакет Python.

Я использовал upload_file в интерактивной записной книжке Jupyter.Тем не менее, после отправки пакета последующие файлы загрузки не появляются для обновления пакета.Сброс ядра кажется единственным способом сделать это.Каков текущий рабочий процесс, который другие использовали для интерактивного обновления этих пакетов в кластере?

Ответ: Пакеты фактически обновлялись, но определение модуля не обновлялось в записной книжке.Использование autoreload может быть возможным решением.

1 Ответ

0 голосов
/ 28 сентября 2018

Команда Client.upload_file уже перезагружает модули, если они отправляются снова.

Вам придется нормально управлять своим локальным процессом.Даск не имеет никакого контроля над этим.Вы могли бы рассмотреть функцию importlib.reload, но я подозреваю, что есть несколько вопросов по переполнению стека по этой теме, которые не связаны с Dask и которые могут быть полезны здесь.

...